[論文レビュー] On mean-field approximations for estimating correlations and solving the inverse Ising problem

Federico Ricci‐Tersenghi, Piazzale Aldo Moro|arXiv (Cornell University)|Dec 20, 2011

Bayesian Modeling and Causal Inference参考文献 2被引用数 2

ひとこと要約

本稿では、感受度伝搬アルゴリズムに依存せずに逆イジング問題を解くためのベーゼ近似の解析的表現を提案し、収束性と精度を向上させている。さまざまなモデルにおける平均場法を比較し、外部場が存在する場合、TAPおよびベーゼ近似が根本的に制限を受けることを特定するとともに、既存の近似手法に対する単純で効果的な改良を提示している。

ABSTRACT

The inverse Ising problem consists in inferring the coupling constants of an Ising model given the correlation matrix. The fastest methods for solving this problem are based on mean-field approximations, but which one performs better in the general case is still not completely clear. In the first part of this work, I summarize the formulas for several mean- field approximations and I derive new analytical expressions for the Bethe approximation, which allow to solve the inverse Ising problem without running the Susceptibility Propagation algorithm (thus avoiding the lack of convergence). In the second part, I compare the accuracy of different mean field approximations on several models (diluted ferromagnets and spin glasses) defined on random graphs and regular lattices, showing which one is in general more effective. A simple improvement over these approximations is proposed. Also a fundamental limitation is found in using methods based on TAP and Bethe approximations in presence of an external field.

研究の動機と目的

• 逆イジング問題を解く際に反復的である感受度伝搬アルゴリズムへの依存を回避できる、ベーゼ近似の解析的公式の開発を目的とする。
• 希釈フェルミオン系やスピンガラスを含む、さまざまなスピンモデルにおける、ベーゼ、TAP、その他の平均場近似の精度を比較することを目的とする。
• 外部場が存在する場合におけるTAPおよびベーゼ近似の根本的限界を特定することを目的とする。
• 実用的応用において、既存の平均場近似手法の性能を向上させる、単純で効果的な改良を提示することを目的とする。

提案手法

• 反復的アルゴリズム（感受度伝搬など）を必要としない、ベーゼ近似の新たな解析的表現の導出。
• これらの解析的ベーゼ公式を用いて、逆イジング問題における相関行列からの結合定数の推定。
• ランダムグラフおよび正則格子上に定義されたイジングモデルにおける、多数の平均場近似手法のベンチマーク。
• 既知のモデルから合成された相関行列を用いた、近似精度の体系的比較。
• 標準的な平均場近似手法の性能を向上させる単純な補正項の導入。
• 外部場がTAPおよびベーゼ近似の有効性と精度に与える影響の分析。

実験結果

リサーチクエスチョン

• RQ1 多様なモデルタイプにおいて、逆イジング問題における結合定数推定において、どの平均場近似が最も高い精度を示すか？
• RQ2 ベーゼ近似の解析的表現は、感受度伝搬のような収束に弱い反復的アルゴリズムの必要を排除できるか？
• RQ3 外部場が加わった場合、TAPおよびベーゼ近似にどのような根本的限界が存在するか？
• RQ4 ランダムグラフと正則格子との間で、平均場近似の性能はどのように変化するか？
• RQ5 単純な修正が、逆イジング問題における既存の平均場手法の精度を顕著に向上させられるか？

主な発見

• 解析的ベーゼ近似により、感受度伝搬アルゴリズムに依存せずに逆イジング問題を直接解くことが可能となり、ロバスト性と収束性が向上した。
• 検証された近似手法の中で、ベーゼに基づく手法は、希釈フェルミオン系やスピンガラスにおいて特にスパarsな系や不規則な系において優れた精度を示した。
• 標準的な平均場近似手法の性能を向上させる単純な補正項が提案され、特に有限サイズおよび低相関領域で顕著な改善効果を示した。
• TAPおよびベーゼ近似は、外部場が存在する場合、根本的に制限を受けており、結合定数推定において系的な誤差を生じる。
• 平均場近似の性能はモデルタイプによって顕著に異なることが確認され、正則格子ではランダムグラフとは異なる誤差パターンを示した。