[論文レビュー] Interaction Screening: Efficient and Sample-Optimal Learning of Ising Models

Marc Vuffray, Sidhant Misra+2 more|arXiv (Cornell University)|May 24, 2016

Markov Chains and Monte Carlo Methods参考文献 2被引用数 22

ひとこと要約

本稿では、i.i.d. データからイジングモデルの構造を学習するための計算的に効率的でサンプル最適な手法、Regularized Interaction Screening Estimator (RISE) を提案する。$β$-正則化を施した凸相互作用スクリーニング目的関数を最小化することで、RISE はシステムサイズ $p$ に対して対数的、かつ最大結合強度およびノード次数に対して指数的依存性を示すサンプル複雑性で完全なグラフ回復を達成し、情報理論的下界と一致する。

ABSTRACT

We consider the problem of learning the underlying graph of an unknown Ising model on p spins from a collection of i.i.d. samples generated from the model. We suggest a new estimator that is computationally efficient and requires a number of samples that is near-optimal with respect to previously established information-theoretic lower-bound. Our statistical estimator has a physical interpretation in terms of "interaction screening". The estimator is consistent and is efficiently implemented using convex optimization. We prove that with appropriate regularization, the estimator recovers the underlying graph using a number of samples that is logarithmic in the system size p and exponential in the maximum coupling-intensity and maximum node-degree.

研究の動機と目的

• i.i.d. データからイジングモデルのグラフ構造を計算的に効率的かつ統計的に一貫性のある方法で学習するための手法を開発すること。
• 先行研究で確立された情報理論的下界に近いサンプル複雑性を達成すること。
• 最大結合強度、最小結合、最大ノード次数に関する事前知識が学習手順で不要であるようにすること。
• 2次元バイナリモデルにとどまらず、高次および混合アルファベットのグラフィカルモデルへも拡張可能な、相互作用スクリーニングに基づく汎用フレームワークを提供すること。

提案手法

• 本手法は、変数間の依存関係を特定するように設計された損失関数の経験的平均に基づく、相互作用スクリーニング目的関数（ISO）に立脚する凸最適化フレームワークを採用する。
• 推定器は、スパarsity を促進し、一貫性のあるグラフ回復を保証するための $Ø–1$ ペナルティを施した正則化 M-推定量として定式化される。
• 真のグラフ構造を回復するために、推定された結合係数に対してしきい値処理が施され、正確な回復のためには $\alpha/2 = \beta/2$ に設定される。
• アルゴリズムは凸最適化技術を用いて実装されており、準4次時間計算量（準2次時間への改善の可能性を有する）を達成する。
• 本手法は物理的直観に基づく：各スピンは局所最適化により近隣との相互作用をスクリーニングし、関連する結合係数を分離する。
• 周期的境界条件を伴う2次元グリッドイジングモデルを用いた数値実験により、i.i.d. データを保証する包括的サンプリングを実施して手法を検証した。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的な推定量を設計でき、近似的に最適なサンプル複雑性を達成するイジングモデル構造学習が可能か？
• RQ2 相互作用スクリーニング目的関数は、モデルパラメータに関する事前知識がなくても、真のグラフ構造を一貫して回復可能か？
• RQ3 サンプル複雑性はシステムサイズ $p$、最大結合強度 $\beta$、最大ノード次数に対してどのようにスケーリングされるか？
• RQ4 長距離相関が存在する状況において、Breslerのグリーディアルゴリズムなどの既存手法に比べ、サンプル効率性に優れるか？
• RQ5 本手法は、2次元バイナリイジングモデルにとどまらず、他のグラフィカルモデルへも一般化可能か？

主な発見

• RISE 推定量は、システムサイズ $p$ に対して対数的にスケーリングするサンプル数で完全なグラフ回復を達成し、理論的下界と対数的要因を除いて一致する。
• 実験的結果から、2D グリッド上での95%の成功確率を達成するための最小サンプル数 $n_{\text{min}}$ は、$\theta^* = 0.7$ の場合、$\approx 1.1 \times 10^5 \ln p$ に比例することが判明し、理論的予測の $3.2 \times 10^{15} \ln p$ よりも著しく優れている。
• 強磁性系の $4 \times 4$ グリッドでは、$n_{\text{min}}$ は実験的に $\exp(12.8\beta)$ に比例し、スピンガラス系では $\exp(5.6\beta)$ に比例するが、両者とも理論的上限の $\exp(24\beta)$ よりも低い。
• 特にサンプリングが困難な状況（例：ランダムな符号を有するスピンガラス）においても性能が優れており、複雑な相関構造に対して頑健であることが示された。
• 従来の手法（例：Breslerのアルゴリズム）とは異なり、最大結合強度、最小結合、最大ノード次数に関する事前知識が不要である。
• 数値実験により、45回の試行後、RISE 推定量は高い確率（95%以上）で真のグラフ構造を回復しており、一貫性および実用的妥当性が確認された。