[論文レビュー] Regularly random duality

Mihailo Stojnic|arXiv (Cornell University)|Mar 29, 2013

Sparse and Compressive Sensing Techniques参考文献 3被引用数 8

ひとこと要約

本稿では、確率的双対性アプローチを用いて、大規模なランダム線形制約付き最適化問題の最適値を解析的に特徴付けるフレームワークを導入する。制約行列をi.i.d.標準正規乱数行列としてモデル化することで、大次元極限において収束するきつい下界と上界を導出し、元の問題を数値的に解かずに典型的な最適解の正確な解析的予測が可能になる。

ABSTRACT

In this paper we look at a class of random optimization problems. We discuss ways that can help determine typical behavior of their solutions. When the dimensions of the optimization problems are large such an information often can be obtained without actually solving the original problems. Moreover, we also discover that fairly often one can actually determine many quantities of interest (such as, for example, the typical optimal values of the objective functions) completely analytically. We present a few general ideas and emphasize that the range of applications is enormous.

研究の動機と目的

• 大規模なランダム線形制約付き最適化問題の典型的な最適値を予測する一般化された解析的手法を開発すること。
• 複雑な最適化問題をより単純な確率的同等問題に変換する双対性フレームワークを確立すること。
• 最適値の下界と上界が大n極限において収束することを示し、解の挙動を正確に特徴付けること。
• フレームワークがさまざまな目的関数と制約構造に広く適用可能であり、基礎となる分布にほとんど仮定を必要としないこと。

提案手法

• 高次元設定における統計的正規性を誘導するために、制約行列AとBをi.i.d.標準正規乱数行列としてモデル化する。
• 双対性変換を適用して、元の最適化問題を解析的に取り扱える確率的問題に変換する。
• 任意の目的関数に対して有効な、信念伝播にインspiredされたアプローチを用いて最適目的値の下界を導出する。
• 特定の目的関数クラス（例：二次関数）に対して上界を導出し、大n漸近においてそれが下界と確率的に一致することを示す。
• 測度集中とLindebergの原理を用いて、ガウス分布に限定されない広範な分布クラスへ一般化する。
• n=200の広範な数値シミュレーションを通じて理論的予測を検証し、予測値とシミュレーション結果の間で強い一致を示す。

実験結果

リサーチクエスチョン

• RQ1 大規模なランダム線形制約付き最適化問題の典型的な最適値は、元の問題を数値的に解かずに解析的に予測可能か？
• RQ2 最適目的値の下界と上界が収束する条件は何か？ これにより正確な特徴付けが可能になるか？
• RQ3 提案された双対性フレームワークは、さまざまな目的関数と制約分布にどのように一般化されるか？
• RQ4 制約行列にi.i.d.ガウス分布の仮定を越えて、結果をどの程度一般化できるか？
• RQ5 次元数とスケーリング（例：m1=α1n, m2=α2n）は、界の収束を保証するために果たす役割は何か？

主な発見

• n=200およびα1=α2=0.5の場合、すべてのテストされたβ値において、正規化された期待最適値の理論的予測がシミュレーション結果と1%以内で一致する。
• β→1のとき、E(L_bp^(1) + ξ_D^(l))/√nの理論的極限は-0.5000に収束し、シミュレーション値-0.4979と一致する。
• 信念伝播と双対性に基づく下界戦略が、大n極限においてタイトで十分であることが示され、正確な特徴付けが可能である。
• フレームワークは、二次関数やその他の凸形式を含む広範な目的関数クラスに対して、最適値の正確な解析的予測を達成する。
• 分布的仮定に対して頑健である：理論はガウス分布に限定されず、Lindeberg条件を満たす任意の分布に一般化可能である。
• 本研究は、高次元ランダム最適化問題の解析を統一する新しい双対性原理「正規乱数双対性」を確立した。