[論文レビュー] A fast and accurate algorithm for inferring sparse Ising models via parameters activation to maximize the pseudo-likelihood

Silvio Franz, Federico Ricci‐Tersenghi+1 more|arXiv (Cornell University)|Jan 31, 2019

Theoretical and Computational Physics参考文献 7被引用数 5

ひとこと要約

本稿では、擬似尤度を最大化するために最も情報量の多いパラメータを反復的に活性化する手法であるPAMPLを提案する。PAMPLは、MPFなどの既存手法と比較して再構成精度に優れながらも、特にスパースなグラフにおいては同等の速度を維持する。1回の反復あたりの計算コストは低く（O(N)）、スパースなグラフに対して効率的である。

ABSTRACT

We propose a new algorithm to learn the network of the interactions of pairwise Ising models. The algorithm is based on the pseudo-likelihood method (PLM), that has already been proven to efficiently solve the problem in a large variety of cases. Our present implementation is particularly suitable to address the case of sparse underlying topologies and it is based on a careful search of the most important parameters in their high dimensional space. We call this algorithm Parameters Activation to Maximize Pseudo-Likelihood (PAMPL). Numerical tests have been performed on a wide class of models such as random graphs and finite dimensional lattices with different type of couplings, both ferromagnetic and spin glasses. These tests show that PAMPL improves the performances of the fastest existing algorithms.

研究の動機と目的

• 真のネットワーク構造が未知であり、データから推定しなければならないスパースなグラフィカルモデルにおける逆イジング問題を解決すること。
• 既存の擬似尤度法において、特にグラフがスパースな場合に全パラメータ最適化が非効率であるという問題を克服すること。
• 計算を最も関連性のある結合パラメータに集中させることでスケーラブルなアルゴリズムを開発し、無関係なパラメータに対する不要な計算を削減すること。
• 低い1回あたりの計算コストを維持しながら、真のネットワーク構造の高い再構成精度を達成すること。
• 特にデータ量が限られ、次元が高い状況において、MPF やデシメーションに基づく擬似尤度法と同等の代替手法を提供すること。

提案手法

• 本手法は、擬似尤度勾配への寄与度に基づき、最も関連性の高い結合パラメータ $J_{ij}$ のみを逐次的に更新するパラメータ活性化戦略を採用する。
• 勾配を効率的に計算するためにミニバッチ確率的最適化スキームを用い、1回あたりのコストを $O(N^2)$ から $O(N)$ に削減する。
• コアとなる最適化は、分配関数の計算が困難なため、個々のスピンに条件づけた対数擬似尤度関数 $\mathcal{S}(J)$ をターゲットとする。
• 学習率 $\epsilon$ を用いて $\mathcal{S}(J)$ に対して勾配上昇を実行し、目的関数の相対的変化量 $\Delta K / K$ を基準に停止基準を設定する。
• 最適化後には、他の擬似尤度法と同様にしきい値処理を適用してスパース構造を回復する。
• 本手法は、活性化に基づく選択機構を持たないが、類似した更新則を持つ最小確率フロー（MPF）と比較される。

実験結果

リサーチクエスチョン

• RQ1 パラメータ活性化戦略は、スパースなイジングモデルにおける擬似尤度ベース推論の効率性と精度を向上させることができるか？
• RQ2 PAMPLの計算コストは、システムサイズ $N$ および逆温度 $\beta$ に対して、既存手法と比較してどのようにスケーリングするか？
• RQ3 PAMPLは、ランダムグラフおよび2次元フェロ磁性格子において、MPF や他の最先端のアルゴリズムよりも優れた再構成精度を達成するか？
• RQ4 ミニバッチサイズおよび学習率が、PAMPLの収束速度と最終誤差に与える影響は何か？
• RQ5 特にサンプリング数が少ない状況において、事前に構造の知識がなくても、本アルゴリズムは真のネットワーク構造を信頼性高く同定できるか？

主な発見

• PAMPLは、ランダムグラフおよび2次元フェロ磁性格子の両方において、MPF や他の擬似尤度法と比較して、真正陽性率（TPR）および真正陰性率（TNR）の観点から高い再構成精度を達成している。
• 本手法は1回あたりの計算コストを $O(N)$ に維持しており、標準的な擬似尤度法における全パラメータ更新の $O(N^2)$ に比べて顕著に高速である。
• 2次元フェロ磁性格子（$N=36$, $M=5000$, $\beta=0.5$）において、PAMLは700反復後にTPRおよびTNRの両方を0.98以上に達成し、誤差 $\epsilon \approx 0.025$ を得た。
• PAMLとMPFの実行時間は同等であり、図13に示すように、$\beta \in \{0.2, 0.3, 0.4, 0.5\}$ の範囲で $N$ に対して対数的にスケーリングする。
• 誤差 $\epsilon$（式9で定義）は $M$ の増加に伴い減少し、$\beta$ に敏感である。高温領域では収束が速くなる傾向を示す。
• 高いTPRおよびTNRにもかかわらず、初期段階では結合パラメータの値が真の値から大きく離れているため、構造の収束はパラメータの精度の向上よりも速いことが示唆される。