[論文レビュー] Living on the edge: Phase transitions in convex programs with random data

Dennis Amelunxen, Martin Lötz+2 more|arXiv (Cornell University)|Mar 26, 2013

Sparse and Compressive Sensing Techniques参考文献 59被引用数 30

ひとこと要約

本稿では、凸錐に対する線形次元の一般化としての統計次元を導入することにより、確率的凸最適化問題における相転移の幾何学的理論を確立する。この理論は、圧縮センシングなどの問題における成功確率が、この次元によって決定される閾値の周囲で鋭く転移することを示し、錐の幾何学と高次元確率論の道具を用いて、転移領域の位置と幅を正確に予測する。

ABSTRACT

Recent research indicates that many convex optimization problems with random constraints exhibit a phase transition as the number of constraints increases. For example, this phenomenon emerges in the $\ell_1$ minimization method for identifying a sparse vector from random linear measurements. Indeed, the $\ell_1$ approach succeeds with high probability when the number of measurements exceeds a threshold that depends on the sparsity level; otherwise, it fails with high probability. This paper provides the first rigorous analysis that explains why phase transitions are ubiquitous in random convex optimization problems. It also describes tools for making reliable predictions about the quantitative aspects of the transition, including the location and the width of the transition region. These techniques apply to regularized linear inverse problems with random measurements, to demixing problems under a random incoherence model, and also to cone programs with random affine constraints. The applied results depend on foundational research in conic geometry. This paper introduces a summary parameter, called the statistical dimension, that canonically extends the dimension of a linear subspace to the class of convex cones. The main technical result demonstrates that the sequence of intrinsic volumes of a convex cone concentrates sharply around the statistical dimension. This fact leads to accurate bounds on the probability that a randomly rotated cone shares a ray with a fixed cone.

研究の動機と目的

• 圧縮センシングや分離問題など、さまざまな凸最適化問題に見られる相転移の普遍性を説明すること。
• 確率的凸計画問題における相転移の位置と幅を予測する幾何学的フレームワークを構築すること。
• 凸錐への線形次元の標準的拡張としての統計次元を導入し、確率的凸可能性の定量的解析を可能にすること。
• 凸錐の内接体積がその統計次元の周囲に鋭く集中することを確立し、錐の交差確率に対する確率的境界を可能にすること。
• 正則化逆問題、分離問題、および確率的制約を伴う錐計画問題に理論を適用し、厳密な性能保証を提供すること。

提案手法

• 統計次元 δ(C) を、標準ガウス分布ベクトルとの期待二乗内積によって定義される、凸錐への線形次元の一般化として導入する。
• 凸錐の内接体積が統計次元の周囲に鋭く集中することを証明し、錐の幾何学的性質がこの1つのパラメータによって支配されることを示す。
• 内接体積の集中性を用いて、ランダムに回転された錐が固定された錐と交差する確率を評価し、確率的凸計画問題における可能性のモデル化に用いる。
• 可解集合の統計次元と制約数の関係を用いて、確率的アフィン制約を伴う凸計画問題の成功確率に対する境界を導出する。
• ガウス幅と尾関数不等式を用いて、正則化逆問題（例：ℓ₁最小化）、非整合性の下での分離問題、および錐計画問題にフレームワークを適用する。
• 双対性と錐幾何学を活用して、成功確率が高確率で達成される鋭い閾値条件を導出する：解の錐の統計次元を上回る数の制約が存在する場合に成功する。

実験結果

リサーチクエスチョン

• RQ1 なぜℓ₁最小化によるスパース回復において、確率的凸最適化問題に相転移が現れるのか？
• RQ2 スパースネスや測定数などの問題パラメータによって、相転移の位置はどのように決定されるのか？
• RQ3 成功確率がほぼ0からほぼ1に変化する遷移領域の幅はどの程度か？
• RQ4 一様な幾何的不変量が、さまざまな確率的データを伴う凸計画問題における閾値行動を予測できるか？
• RQ5 統計次元は、多様な確率的凸最適化問題における性能を統一的に予測するためにどのように利用できるか？

主な発見

• 凸錐 C の統計次元 δ(C) は、確率的凸計画問題における相転移の閾値を正確に予測する：制約数が δ(C) を上回る場合、成功確率は非常に高くなる。
• 凸錐の内接体積は統計次元の周囲に鋭く集中しており、これは錐の高次元幾何学的性質がこのスカラー1つによって効果的に記述されることを示唆する。
• 圧縮センシングにおけるℓ₁最小化では、測定数 m が s（スパースネス）と d（環境次元）に対して約 2s log(d/s) を上回るとき相転移が発生する。この閾値は、降下錐の統計次元によって正確に予測される。
• 遷移領域の幅は O(√δ(C)) のオーダーであり、δ(C) が大きい場合、特に高次元設定では遷移が鋭くなる。
• 球面的凸集合のガウス幅は、その統計次元の平方根と同等のオーダーであり、高次元における確率的測度と幾何的測度の間の関係を確立する。
• 理論は広範に適用可能である：正則化逆問題、確率的非整合性の下での分離問題、および確率的アフィン制約を伴う一般の錐計画問題における相転移を予測する。