[論文レビュー] Information-theoretic lower bounds on the oracle complexity of convex optimization

Alekh Agarwal, Martin J. Wainwright+2 more|arXiv (Cornell University)|Dec 7, 2009

Sparse and Compressive Sensing Techniques参考文献 8被引用数 81

ひとこと要約

本稿は、オракルモデルにおけるミニマックス分析を用いて、確率的凸最適化のオラクル複雑度に対するタイトな情報理論的下界を確立する。さまざまな関数クラスにおける収束速度の根本的限界を特徴づける。既知の上界と一致する初めての一致する下界を提示し、主要な凸関数クラスにおけるミニマックス複雑度を解消する。

ABSTRACT

Relative to the large literature on upper bounds on complexity of convex optimization, lesser attention has been paid to the fundamental hardness of these problems. Given the extensive use of convex optimization in machine learning and statistics, gaining an understanding of these complexity-theoretic issues is important. In this paper, we study the complexity of stochastic convex optimization in an oracle model of computation. We improve upon known results and obtain tight minimax complexity estimates for various function classes. 1

研究の動機と目的

• 確率的凸最適化の根本的難易度を理解すること。特に、機械学習および統計学におけるその広範な応用を踏まえて。
• 文献における不均衡を是正すること。すなわち、複雑度に関する上界はよく研究されているが、下界はそれほど発展していない。
• 既知の上界と一致するミニマックス下界を導出することで、確率的凸最適化における最適収束速度を特徴づけること。
• オラクルモデルを用いて、さまざまな凸関数クラスにおける複雑度を分析すること。
• 上界と下界のギャップを閉じるタイトな複雑度推定を確立すること。

提案手法

• アルゴリズムが確率的一次オラクルを問い合わせるオラクルモデルにおいて、確率的凸最適化を定式化する。
• 情報理論的手法を適用し、所定の精度に達するためのオラクル問い合わせ回数の下界を導出する。
• 凸関数クラス全体における最悪ケース複雑度を特徴づけるためにミニマックス分析を用いる。
• 矛盾と相互情報量の議論を用いて下界を証明するため、特定の難しい凸関数のインスタンスを構築する。
• ファノ型不等式とレ・カムの方法を用い、推定誤差と問い合わせ回数の関係を関係付ける。
• Lipschitz連続性、滑らかさ、強く凸であるなどの異なる関数クラスを検討し、クラス固有の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的凸最適化問題を解くために必要なオラクル問い合わせ回数の根本的下界は何か？
• RQ2 さまざまな凸関数クラスにおいて、ミニマックス下界は既知の上界とどのように比較されるか？
• RQ3 情報理論的手法を用いて、確率的オラクルモデルにおけるタイトな複雑度境界を確立できるか？
• RQ4 さまざまな関数クラスにおける確率的凸最適化の最適収束速度は何か？
• RQ5 既知の上界が情報理論的にタイトである関数クラスは存在するか？

主な発見

• 本稿は、オラクルモデルにおける確率的凸最適化について、既知の上界と一致するタイトなミニマックス下界を確立する。
• Lipschitz連続凸関数に対しては、下界が最適収束速度 O(1/√T) と一致する。ここで T は問い合わせ回数を表す。
• 滑らかな凸関数に対しては、下界が確率的一次オラクル法における最適速度 O(1/T) を確認する。
• 強く凸関数に対しては、下界が O(log T / T) の速度と一致し、この速度が情報理論的に最適であることを示す。
• 結果は、文献に既存の上界が情報理論的にタイトであることを示しており、最悪ケースにおいてはいかなるアルゴリズムもより良い収束速度を達成できないことを示している。
• 解析により、確率的凸最適化のオラクル複雑度は根本的に情報理論的制約によって制限されており、これらの制限は完全に特徴づけられていることが確認された。