[論文レビュー] Curse of Heterogeneity: Computational Barriers in Sparse Mixture Models and Phase Retrieval

Jianqing Fan, Han Liu+2 more|arXiv (Cornell University)|Aug 21, 2018

Machine Learning and Algorithms参考文献 84被引用数 9

ひとこと要約

本稿は、オракルに基づく計算モデルを用いて、スパース混合モデルおよび位相再構成における計算可能最小上限境界を確立し、統計的精度と計算的実行可能性の間の根本的トレードオフを明らかにした。データの非同一性が『非同一性の呪い』を引き起こすことが示され、計算的に効率的なアルゴリズムは固有の統計的制限に直面し、古典的最小上限リスクと計算制約付き最小上限リスクの差がその統計的コストとして定量化される。

ABSTRACT

We study the fundamental tradeoffs between statistical accuracy and computational tractability in the analysis of high dimensional heterogeneous data. As examples, we study sparse Gaussian mixture model, mixture of sparse linear regressions, and sparse phase retrieval model. For these models, we exploit an oracle-based computational model to establish conjecture-free computationally feasible minimax lower bounds, which quantify the minimum signal strength required for the existence of any algorithm that is both computationally tractable and statistically accurate. Our analysis shows that there exist significant gaps between computationally feasible minimax risks and classical ones. These gaps quantify the statistical price we must pay to achieve computational tractability in the presence of data heterogeneity. Our results cover the problems of detection, estimation, support recovery, and clustering, and moreover, resolve several conjectures of Azizyan et al. (2013, 2015); Verzelen and Arias-Castro (2017); Cai et al. (2016). Interestingly, our results reveal a new but counter-intuitive phenomenon in heterogeneous data analysis that more data might lead to less computation complexity.

研究の動機と目的

• 高次元の非同一データ解析における統計的精度と計算的実行可能性の根本的トレードオフを理解すること。
• 計算制約下でのスパース混合モデルおよび位相再構成の統計的限界に関する未解決の予想を解明すること。
• これらのモデルにおいて、いかなる計算的に効率的なアルゴリズムでも統計的精度を達成するための最小信号強度を定量化すること。
• 情報理論的限界と計算的に効率的な境界の間の観察されたギャップが本質的であるのか、それとも非最適なアルゴリズムによるものであるのかを調査すること。
• 非同一設定において、より多くのデータが計算複雑性を低下させるという直感に反する現象が、どのように説明可能で一般化可能であるかを検討すること。

提案手法

• 検出、推定、サポート回復、クラスタリングのための、予想に依存しない最小上限下界を導出するために、オラクルに基づく計算モデルを用いる。
• 高次元設定（d ≫ n）におけるスパースガウス混合モデルおよびスパース線形回帰混合モデルを、スパarsity制約のもとで分析する。
• 計算的に実行可能な手順に必要な信号強度の鋭い下界を導出することで、計算統計的段階転移を確立する。
• 全変動距離の下界を導くために、帰無仮説と対立仮説の間の尤度比分析と第二モーメント法を適用する。
• ラデマッハ確率変数と行列行列式の恒等式を用いて、異なるモデル下での尤度比の期待値を計算する。
• 古典的最小上限リスクと計算可能最小上限リスクのギャップが、計算的実行可能性の統計的コストを定量化することを示す。

実験結果

リサーチクエスチョン

• RQ1 非同一混合モデルにおいて、いかなる計算的に実行可能なアルゴリズムでもスパース信号を検出可能とするために必要な最小信号強度は何か？
• RQ2 スパース混合モデルおよび位相再構成における情報理論的限界と計算的に効率的な境界の間の観察されたギャップは、本質的であるのか、それとも非最適なアルゴリズムによるものなのか？
• RQ3 データの非同一性が、計算的に効率的な推定器の性能を根本的に制限するのか？ もしそうならば、その制限はどのように定量化できるか？
• RQ4 より多くのデータが計算複雑性を低下させる現象は、非同一モデルに一般化可能に形式的に説明可能か？
• RQ5 計算制約は、スパース位相再構成および線形回帰混合モデルにおける最小上限リスクにどのように影響するか？

主な発見

• スパース混合モデルおよび位相再構成において、古典的最小上限リスクと計算可能最小上限リスクの間に顕著なギャップが存在し、計算的実行可能性の統計的コストを定量化する。
• 単位共分散行列を有するスパースガウス混合モデルでは、計算統計的段階転移は、対数的項を除き、信号強度 ∥Δμ∥₂² ≳ s log(d/n) によって決定される。
• スパース線形回帰混合モデルでは、検出に必要な信号強度の閾値は ∥β∥₂² ≳ s log(d/n) であり、位相再構成設定と一致する。
• 本稿は、Azizyan et al. (2013, 2015)、Verzelen and Arias-Castro (2017)、Cai et al. (2016) が提起した、このようなギャップの存在に関する予想を解決する。
• 逆説的な現象が明らかになった：非同一モデルにおいて、データ量の増加は計算複雑性を低下させることがある。これは、より多くのデータが信号分離を改善するからである。
• 尤度比に第二モーメント法を適用することで、導出された閾値より信号が小さい場合、いかなる計算的に効率的なアルゴリズムでも古典的最小上限リスクを達成できないことが確認された。