[論文レビュー] Towards Optimal Sparse Inverse Covariance Selection through Non-Convex Optimization.

Sidhant Misra, Marc Vuffray+2 more|arXiv (Cornell University)|Mar 15, 2017

Statistical Methods and Inference被引用数 1

ひとこと要約

本稿では、スパース逆共分散選択のためのDICEおよびSLICEの2つのアルゴリズムを提案する。これらは、情報理論的下界まで定数倍の要因で一致するサンプル複雑性を達成する。DICEは非凸最適化問題を解くことで最適なサンプル複雑性を達成するが、SLICEは理論的保証が同等の実用的混合整数二次計画法の定式化を提供する。両者とも、下界に含まれるパrameter（p：ノード数、d：最大次数、κ：最小エッジ強度）にのみ依存する。

ABSTRACT

What is the optimal number of independent observations from which a sparse Gaussian Graphical Model can be correctly recovered? Information-theoretic arguments provide a lower bound on the minimum number of samples necessary to perfectly identify the support of any multivariate normal distribution as a function of model parameters. For a model defined on a sparse graph with $p$ nodes, a maximum degree $d$ and minimum normalized edge strength $\kappa$, this necessary number of samples scales at least as $d \log p/\kappa^2$. The sample complexity requirements of existing methods for perfect graph reconstruction exhibit dependency on additional parameters that do not enter in the lower bound. The question of whether the lower bound is tight and achievable by a polynomial time algorithm remains open. In this paper, we constructively answer this question and propose an algorithm, termed DICE, whose sample complexity matches the information-theoretic lower bound up to a universal constant factor. We also propose a related algorithm SLICE that has a slightly higher sample complexity, but can be implemented as a mixed integer quadratic program which makes it attractive in practice. Importantly, SLICE retains a critical advantage of DICE in that its sample complexity only depends on quantities present in the information theoretic lower bound. We anticipate that this result will stimulate future search of computationally efficient sample-optimal algorithms.

研究の動機と目的

• スパース逆共分散選択のための既存のアルゴリズムと、サンプル複雑性の情報理論的下界との間のギャップを埋めること。
• 情報理論的下界 d log p / κ² まで定数倍の要因で一致する多項式時間アルゴリズムの開発。
• アルゴリズムのサンプル複雑性が、情報理論的下界に現れるパラメータ（p、d、κ）にのみ依存することを保証すること。
• 理論的最適性を維持しながら、混合整数二次計画法として実装可能な実用的バージョンであるSLICEを提供すること。
• 高次元 graphical モデル回復のための計算的に効率的でサンプル最適なアルゴリズムの今後の開発を促進すること。

提案手法

• DICEは、最小限のサンプル要件で真のグラフサポートを回復することを目的とした非凸最適化問題として、スパース逆共分散選択を定式化する。
• アルゴリズムは、スパース性を促進するとともにエッジ強度の情報を保持する非凸ペナルティ関数を活用する。
• DICEの最適化フレームワークは、情報理論的下界と整合するように構築されており、サンプル複雑性が定数倍の要因でタイトであることを保証する。
• SLICEはDICEの緩和として導出され、実装可能性を高めるために混合整数二次計画問題に再定式化される。
• 両アルゴリズムは、そのサンプル複雑性がp（変数数）、d（ノードの最大次数）、κ（最小正規化エッジ強度）にのみ依存するように設計されており、下界のパラメータと一致する。
• 理論的分析により、DICEが情報理論的下界の定数倍の要因内でサンプル複雑性を達成することが証明されている。

実験結果

リサーチクエスチョン

• RQ1 スパースガウス graphical モデル回復のためのサンプル複雑性の情報理論的下界 d log p / κ² はタイトであり、多項式時間アルゴリズムによって達成可能か？
• RQ2 追加のパラメータに依存せずに、この最適なサンプル複雑性を達成できる非凸最適化アプローチを設計可能か？
• RQ3 理論的最適性を維持しながら、混合整数プログラミングによる実装が可能な実用的アルゴリズムは存在するか？
• RQ4 サンプル複雑性が情報理論的下界に現れるパラメータ（p、d、κ）にのみ依存するか？
• RQ5 スパース逆共分散選択において、理論的最適性と計算可能性の間のトレードオフは何か？

主な発見

• DICEは、情報理論的下界 d log p / κ² まで定数倍の要因で一致するサンプル複雑性を達成する。
• DICEのサンプル複雑性は、p、d、κにのみ依存する。これらのパラメータは下界を定義するものであり、理論的に最適であることを示す。
• SLICEはわずかに高いサンプル複雑性を示すが、混合整数二次計画法として実装可能であり、実用的利点を有する。
• DICEおよびSLICEの両方が、情報理論的下界に現れるパラメータにのみ依存するという重要な性質を保持している。
• 結果として、スパース逆共分散選択におけるサンプル最適性は、多項式時間アルゴリズムによって達成可能であることが示された。
• 本研究は、下界がタイトであり、効率的な計算によって達成可能であるかどうかという未解決の問いに対して、構成的解決を提供する。