[論文レビュー] Statistical Limits of Convex Relaxations

Zhaoran Wang, Quanquan Gu+1 more|arXiv (Cornell University)|Mar 4, 2015

Sparse and Compressive Sensing Techniques参考文献 43被引用数 3

ひとこと要約

この論文は、高次元スパース推定問題において、凸緩和（特に和の平方：SoS）階層が計算の実行可能性を求める一方で統計的最適性を犠牲にすることを確立している。著者らはSoS緩和の実行可能解を構築することで、情報理論的下界と凸緩和による達成可能な誤差率との間に√s∗の根本的ギャップが存在することを証明し、スパース主部分行列およびストキャスティックブロックモデル推定において、計算の高速性が統計的性能の低下を伴うことを示している。

ABSTRACT

Many high dimensional sparse learning problems are formulated as nonconvex optimization. A popular approach to solve these nonconvex optimization problems is through convex relaxations such as linear and semidefinite programming. In this paper, we study the statistical limits of convex relaxations. Particularly, we consider two problems: Mean estimation for sparse principal submatrix and edge probability estimation for stochastic block model. We exploit the sum-of-squares relaxation hierarchy to sharply characterize the limits of a broad class of convex relaxations. Our result shows statistical optimality needs to be compromised for achieving computational tractability using convex relaxations. Compared with existing results on computational lower bounds for statistical problems, which consider general polynomial-time algorithms and rely on computational hardness hypotheses on problems like planted clique detection, our theory focuses on a broad class of convex relaxations and does not rely on unproven hypotheses.

研究の動機と目的

• 凸緩和、特に和の平方（SoS）階層の統計的限界を、高次元スパース推定問題において特徴づけること。
• s∗ = o(d / √log d)^(2/3) かつ log d = o(s∗) という困難な領域において、凸緩和が情報理論的下界に達するかどうかを調査すること。
• 最適な統計的レートと凸緩和によって達成可能なレートとのギャップを、未検証の計算の難解性仮定に依存せずに確立すること。
• 計算の実行可能性を要件とする場合でさえ、最もタイトな凸緩和（例えばSoS階層）が最適な統計的性能を達成できないことを示すこと。

提案手法

• 非凸スパース推定問題を近似するために、半正定値計画法に基づく、次第になだらかになる凸緩和の系列である和の平方（SoS）階層を用いる。
• 部分グラフおよび部分行列の展開性に基づく双対証明を構築し、SoS階層における解の実行可能性を検証する。
• 計算還元や難解性仮説に依存するのではなく、構成に基づく証明戦略を採用する。
• サイズℓの部分集合をインデックスとする行列Π(ℓ)を定義し、与えられた集合から拡張可能な2ℓ×2ℓのすべてが1の部分行列の数を用いてエントリを構築する。
• 集中不等式およびサブガウス型尾部バウンドを用いて、構築されたΠ(ℓ)が高確率で半正定値であることを示す。
• SoSプログラムの目的関数値とマルコフの不等式を組み合わせることで推定誤差の下界を導出し、階層内の任意の推定器が少なくともC′の誤差を被る必要があることを示す。

実験結果

リサーチクエスチョン

• RQ1 スパース主部分行列およびストキャスティックブロックモデル推定において、凸緩和（例えばSoS階層）は情報理論的下界に達することができるか？
• RQ2 高次元スパース推定における計算の実行可能性を求めるために凸緩和を使用する際の根本的統計的コストは何か？
• RQ3 最適推定器と凸緩和に基づく推定器との性能ギャップは、スパースレベルs∗に依存するか？
• RQ4 未検証の計算の難解性仮定に依存せずに、このギャップを定量化できるか？
• RQ5 タイトな凸緩和としてのSoS階層は、計算的に非実行可能な推定器と比較して依然として統計的に劣っているか？

主な発見

• 計算的に非実行可能な推定器は、両方のスパース主部分行列およびストキャスティックブロックモデル推定において、√(1/s∗ · log(d/s∗))のオーダーの情報理論的下界に達することができる。
• SoS階層（またはより弱い凸緩和階層）内の任意の推定器は、s∗とは無関係に、C′のオーダーの誤差下限を被るため、根本的な統計的コストが存在することが示された。
• 最適レートと凸緩和によって達成可能なレートとのギャップは√s∗のオーダーであり、ℓ番目のSoSレベルにおいてs∗ = o((d / log d)^(1/2ℓ))の領域で定量的に確立された。
• スパース主部分行列推定において、SoS階層内に存在する線形時間推定器は、対数要因を除いて下限に達しており、このクラス内での近似的最適性を示している。
• 証明は、Mekaら（2015）にインspiredされた双対証明を用いた構成に基づくアプローチに依存しており、プラント・クリークのような難解問題への還元を避けていた。
• 未検証の計算の難解性仮定に依存せず、統計における先行の計算下界とは異なり、本研究の結果は有効である。