[論文レビュー] Learning Ising Models with Independent Failures

Surbhi Goel, Daniel M. Kane+1 more|arXiv (Cornell University)|Feb 13, 2019

Statistical Methods and Inference参考文献 23被引用数 5

ひとこと要約

本稿では、各サンプルの要素が未知の確率 $ p $ で欠損または反転する独立障害下におけるイジングモデル構造の学習のための最初の効率的アルゴリズムを提示する。相互作用スクリーニング目的関数（ISO）に対する不偏勾配推定器を構築し、確率的乗法的勾配降下法を適用することで、$ p $ が未知であっても、クリーンなデータに対する最新技術と同等の近似的最適なサンプルおよび実行時間の複雑さを達成する。

ABSTRACT

We give the first efficient algorithm for learning the structure of an Ising model that tolerates independent failures; that is, each entry of the observed sample is missing with some unknown probability p. Our algorithm matches the essentially optimal runtime and sample complexity bounds of recent work for learning Ising models due to Klivans and Meka (2017). We devise a novel unbiased estimator for the gradient of the Interaction Screening Objective (ISO) due to Vuffray et al. (2016) and apply a stochastic multiplicative gradient descent algorithm to minimize this objective. Solutions to this minimization recover the neighborhood information of the underlying Ising model on a node by node basis.

研究の動機と目的

• 各サンプルの要素が独立障害（欠損または反転）によって汚染される状況下でのイジングモデル構造学習の課題に取り組む。
• センサーネットワークなどの実世界の応用において極めて重要な未知の障害確率 $ p $ を取り扱えるように、先行研究の制限を克服する。
• データ汚損が生じても、クリーンなデータに対するアルゴリズムと同等の近似的最適なサンプル複雑さと実行時間複雑さを達成する。
• ブロック障害や他の類似したノイズモデルに対しても同様のアプローチを拡張する。
• 障害率が既知または未知の両状況下で、構造回復に対する理論的保証を提供する。

提案手法

• ノードごとの近隣情報回復を目的として、$ l_1 $-ノルム制約付き球上で相互作用スクリーニング目的関数（ISO）を最小化する形で構造学習を定式化する。
• $ l_1 $-制約を自然に扱える確率的乗法的勾配降下法（SMG）を適用可能にするために、最適化問題を単体上に変換する。
• 目的関数の分解可能性と障害の独立性を活用して、変更されたISOに対する不偏かつ有界な勾配推定器を構築する。
• SMGに不偏勾配推定器を組み合わせてISOを最小化し、高確率での収束を保証する。
• Chernoff不等式および二項分布の近接性解析を用いて、誤差バウンドを導出する。$ O(\text{poly}(\text{log} n)) $ の新規サンプルを用いて未知の障害確率 $ p $ を推定する。
• 全変動距離を用いて、真の $ p $ を持つデータと推定された $ \widehat{p} $ を持つデータの分布の類縁性を証明し、アルゴリズムのロバストネスを保証する。

実験結果

リサーチクエスチョン

• RQ1 各サンプル要素が未知の確率 $ p $ で独立に欠損または反転する状況下で、近似的最適なサンプルおよび実行時間複雑さを維持しつつ、イジングモデルの構造を学習できるか？
• RQ2 独立障害下におけるISOに対して、不偏勾配推定器を構築することが可能か？これにより効率的な最適化が可能になるか？
• RQ3 サンプルまたは実行時間複雑さが劣化しないように、未知の障害確率 $ p $ をどのように処理できるか？
• RQ4 提案手法を、特定の要素の集合が同時に汚損されるブロック障害などの他のノイズモデルへ拡張可能か？
• RQ5 不偏勾配推定器と組み合わせたSMGが、正確な構造回復に必要な収束保証を保持できるか？

主な発見

• アルゴリズムは、$ \widetilde{O}(n^2) $ 時間で全イジングモデル構造を回復し、$ O(\lambda^4 \beta^{-4} \log n \cdot \exp(C\lambda)) $ 個のサンプルを用いる。これは、クリーニングデータに対する Klivans と Meka (2017) の結果と同等のサンプルおよび実行時間複雑さを達成する。
• $ p $ が既知の場合、サンプル複雑さは $ \exp(C\lambda) $ に依存し、$ p < 1/2 $ のとき $ C \leq 10 $ となる。一般の $ p $ では、$ 1/(1-p) $ のスケーリングに比例する。
• $ p $ が未知の場合、$ O(\log n) $ の新規サンプルを用いて $ p $ を推定するだけで、同等の保証を維持可能であり、失敗確率はわずか $ O(\delta) $ の要因で増加する。
• 真の $ p $ を持つサンプルと推定された $ \widehat{p} $ を持つサンプルの分布は、全変動距離で $ O(\delta) $ 以内に近接しており、SMGアルゴリズムのロバストネスを保証する。
• 不偏勾配推定器は、ISOの指数線形構造と障害の独立性を活用して構築され、この手法自体が独立した関心の対象となる可能性がある。
• 固定された要素のサブセットが同時に汚損されるブロック障害モデルに対しても、本手法は一般化可能であり、実世界のデータ汚損パターンへの広範な適用可能性を示している。