[論文レビュー] Inverse problems for structured datasets using parallel TAP equations and RBM

Aurélien Decelle, Sungmin Hwang+2 more|arXiv (Cornell University)|Jun 27, 2019

Diffusion and Search Dynamics参考文献 4被引用数 2

ひとこと要約

本稿では、二値クラスタリング済みデータセットにおける逆問題を解くための新規な並列TAPベースのアルゴリズムを提案する。Thouless-Anderson-Palmer方程式を活用して、ホフリートモデルにおける教師パターンの効率的推定を実現する。従来の手法と比較して、より少ないサンプル数とより大きなシステムサイズでも優れた性能を達成する一方で、近似メッセージパッシング（AMP）が直接問題における熱力学的挙動を再現できないこと、およびRBM学習が正確な教師パターンではなくデータの主成分部分空間に収束することを示している。

ABSTRACT

We propose an efficient algorithm to solve inverse problems in the presence of binary clustered datasets. We consider the paradigmatic Hopfield model in a teacher student scenario, where this situation is found in the retrieval phase. This problem has been widely analyzed through various methods such as mean-field approaches or the pseudo-likelihood optimization. Our approach is based on the estimation of the posterior using the Thouless-Anderson-Palmer (TAP) equations in a parallel updating scheme. At the difference with other methods, it allows to retrieve the exact patterns of the teacher and the parallel update makes it possible to apply it for large system sizes. We also observe that the Approximate Message Passing (AMP) equations do not reproduce the expected behavior in the direct problem, questioning the standard practice used to obtain time indexes coming from Belief Propagation (BP). We tackle the same problem using a Restricted Boltzmann Machine (RBM) and discuss the analogies between the two algorithms.

研究の動機と目的

• 構造的二値データセットにおける隠れたパターンを、低サンプル複雑性で推定する課題に対処すること。
• 特にクラスタリング済みまたはマルチアトラクタを持つデータセットで性能が低い既存手法の限界を、TAP方程式を用いたベイズフレームワークにより克服すること。
• ホフリートモデルの直接問題において、近似メッセージパッシング（AMP）方程式が期待される熱力学的挙動を再現できない理由を調査すること。
• TAPベースのアルゴリズムと制限付きボルツマンマシン（RBM）学習のパターン推定における性能および収束特性を比較すること。

提案手法

• 教師-生徒設定において、事後確率の周辺分布を推定し、教師パターンを同定するために、並列更新方式を用いたThouless-Anderson-Palmer（TAP）方程式を用いる。
• 教師パターンに一様事前分布を適用するベイズ推論フレームワークを採用し、事後分布が尤度に比例することを前提とする。
• 従来の平均場法や擬似尤度法とは異なり、並列TAPスキームにより大規模システムサイズ（N = 1000）へのスケーラビリティを実現する。
• P > 1 個のパターンにおける対数尤度を導出し、パーティション関数の直接計算を回避する推論目的を定義する。
• RBM学習と比較するため、恒常的対数尤度勾配法（PCD）を用い、隠れユニットのモンテカルロサンプリングにより擬似尤度を最適化する。
• 収束性を特異値分解（SVD）を用いて分析し、学習過程全体を通じてRBM重み部分空間がデータモードとどの程度一致するかを測定する。

実験結果

リサーチクエスチョン

• RQ1 並列TAPベースのアルゴリズムは、クラスタリング済み二値データセットにおいて、観測構成数を減らしても、従来手法を上回る推定精度を達成できるか？
• RQ2 ホフリートモデルの直接問題において、近似メッセージパッシング（AMP）方程式がなぜ期待される熱力学的挙動を再現できないのか？
• RQ3 RBM学習は正確な教師パターンに収束するのか、それともデータの主成分によって張られる部分空間に収束するのか？
• RQ4 リトリーブフェーズにおけるTAPアルゴリズムの性能は、システムサイズおよび温度にどのように依存するか？
• RQ5 ホフリートモデルの対称性が、RBMが真の教師パターンを回復できない原因となる程度はどの程度か？

主な発見

• 並列TAPアルゴリズムは、標準的手法に比べてはるかに少ないサンプル数で教師パターンを成功裏に回復することができ、特にクラスタ化領域において顕著である。
• 低温（β > 1）では、M ∼ O(N) 個のサンプルで完全なパターン回復が達成されるが、β = 1未満では臨界的なサンプル閾値が存在する。
• AMP方程式は、ホフリートモデルの直接問題において、期待される熱力学的挙動を再現できない。これは、Belief Propagationに基づく時系列推定への標準的適用の妥当性を疑問視する要因である。
• RBM学習は、ホフリートモデルの回転対称性のため、正確な教師パターンを回復できない。代わりに、データの主成分によって張られる部分空間に収束する。
• SVD解析により、RBM重み部分空間がデータの主要モードと一致しており、初期段階から最終段階にかけて射影誤差tαが著しく減少することが示された。
• 特にデータがクラスタリングされており、サンプル数が限られている状況では、TAPベースの手法がRBMを上回るパターン回復精度を示した。