[論文レビュー] Gordon's inequality and condition numbers in conic optimization

Dennis Amelunxen, Martin Lötz|arXiv (Cornell University)|Aug 13, 2014

Advanced Optimization Algorithms Research参考文献 35被引用数 10

ひとこと要約

本稿は、ガウス型比較不等式（特にスレピアンの不等式およびゴードンの不等式）を用いて、錐型最適化における条件数の確率的解析を統一する。これらを凸錐上のモーメント関数の単調性の性質として解釈することで、レネガールの条件数および凸錐上に制限されたガウス行列の特異値に関するより鋭い境界を確立する。これにより、積分幾何学と確率的行列理論が結びつけられ、尾確率の推定および漸近的挙動が改善される。

ABSTRACT

The probabilistic analysis of condition numbers has traditionally been approached from different angles; one is based on Smale's program in complexity theory and features integral geometry, while the other is motivated by geometric functional analysis and makes use of the theory of Gaussian processes. In this note we explore connections between the two approaches in the context of the biconic homogeneous feasiblity problem and the condition numbers motivated by conic optimization theory. Key tools in the analysis are Slepian's and Gordon's comparision inequalities for Gaussian processes, interpreted as monotonicity properties of moment functionals, and their interplay with ideas from conic integral geometry.

研究の動機と目的

• スレピアンの不等式およびゴードンの不等式を用いて、凸錐上に制限されたガウス型演算子の条件数の確率的挙動を解析する。
• Slepianの不等式およびGordonの不等式を用いて、条件数のより鋭い尾確率境界を確立する。
• 高次元設定における制限された特異値およびノルムの漸近的挙動を調査する。
• ガウス型比較不等式が、レネガールの条件数の分布に対して有効な境界をもたらすかどうかを検討する。

提案手法

• 凸体上のモーメント関数の単調性の性質を導出するために、Slepianの不等式およびGordonの不等式を用いる。
• 直交不変な値関数（モーメント関数）を導入し、錐制限付きのランダム演算子の高次モーメントを一般化する。
• これらの関数を用いて、線形写像された凸錐のガウス幅および統計次元を評価する。
• モーメント関数を凸バンドルへ一般化し、制限された特異値の文脈においてGordonの不等式を幾何学的に解釈する。
• 球面チューブ公式および運動論的公式を用いて、小さな特異値の確率および不適切に定式化された問題の確率を分析する。
• 比較不等式のサブガウス型拡張を活用し、非ガウス分布を検討する。

実験結果

リサーチクエスチョン

• RQ1 Slepianの不等式およびGordonの不等式から得られる、錐制限付き特異値の境界は、高次元において漸近的に正確であるか？
• RQ2 統計次元の収束を仮定した下で、制限された作用素ノルムおよび最小特異値の漸近的挙動は、錐の統計次元で特徴付けられるか？
• RQ3 ガウス型比較手法を用いて、レネガールの条件数の期待対数に関する多項式境界を導出可能か？
• RQ4 凸バンドル上の収縮写像を定式化することで、不適切さへの距離の有効な尾確率境界を得られるか？
• RQ5 エデルマンの正確な公式を拡張して、錐制限付き行列ノルムおよび特異値に対する一般化されたステインァーの公式を構築可能か？

主な発見

• Slepianの不等式およびGordonの不等式は、凸錐上のモーメント関数の単調性の性質として解釈され、錐制限付き演算子の高次モーメントに関する新たな境界を可能にする。
• これらのモーメント関数を用いて、線形写像された凸錐のガウス幅および統計次元に関する境界を導出する。
• Stiefel多様体 $\operatorname{St}_{n,m}$ 上のランダム行列 $\bm{U}$ に対して、尾確率 $\mathbb{P}\{\mathcal{R}_C(\bm{U}) \geq t\}$ は、$t \to \infty$ のとき衰える係数 $v_k(C)$ および関数 $f_{m,n,k}(t)$ を含む和によって上界が与えられ、条件数の期待対数に関する多項式境界が得られる。
• ガウス型比較不等式から得られる境界は、チューブ公式に基づく推定と比較して、条件数分布の完全な減衰を捉えていないため、直接適用に限界があることが示唆される。
• 漸近的予想を提示：$m,n \to \infty$ かつ $m/n \to \text{const}$ の下で、統計次元の収束を仮定すると、$\|\bm{G}\|_{C\to D} \sim \sqrt{dn} + \sqrt{cm}$ および $\sigma_{C\to D}(\bm{G}) \sim \sqrt{dn} - \sqrt{cm}$ が成り立つ。
• 比較不等式の既知のサブガウス型拡張を踏まえ、これらの結果をサブガウス行列へ拡張することが可能であると示唆される。