[論文レビュー] Local Minimax Complexity of Stochastic Convex Optimization

Yuancheng Zhu, Sabyasachi Chatterjee+2 more|arXiv (Cornell University)|May 24, 2016

Stochastic Gradient Optimization Techniques参考文献 13被引用数 8

ひとこと要約

本稿は、確率的凸最適化における局所化されたミニマックス複雑度枠組みを導入し、与えられた精度に到達するために必要な確率的部分勾配クエリの数について、関数固有の下界と上界を提供する。統計的連続性モジュラスの計算的類似物を定義し、これがスーパー効率的であり、1次元において対数要因を除いて、二分探索に基づくアルゴリズムによって適応的に達成可能であることを示す。

ABSTRACT

We extend the traditional worst-case, minimax analysis of stochastic convex optimization by introducing a localized form of minimax complexity for individual functions. Our main result gives function-specific lower and upper bounds on the number of stochastic subgradient evaluations needed to optimize either the function or its "hardest local alternative" to a given numerical precision. The bounds are expressed in terms of a localized and computational analogue of the modulus of continuity that is central to statistical minimax analysis. We show how the computational modulus of continuity can be explicitly calculated in concrete cases, and relates to the curvature of the function at the optimum. We also prove a superefficiency result that demonstrates it is a meaningful benchmark, acting as a computational analogue of the Fisher information in statistical estimation. The nature and practical implications of the results are demonstrated in simulations.

研究の動機と目的

• 確率的凸最適化における最悪ケースミニマックス境界を超える、関数固有の複雑度解析を構築すること。
• 特定の凸関数の内在的難易度とその最も難しい局所的代替関数の難易度を定量化する、局所化ミニマックス複雑度を定義すること。
• 最適化複雑度のベンチマークとして、統計的連続性モジュラスの計算的類似物を確立すること。
• ある関数に対してベンチマークを上回る性能を達成するには、他の関数においてより悪い性能を示さざるを得ないという、スーパー効率性の結果を証明すること。
• 1次元設定において、対数要因を除いて局所ミニマックス複雑度を達成する適応的二分探索アルゴリズムの設計と解析を行うこと。

提案手法

• 目的関数 $ f $ やその最も難しい代替関数 $ g \in \mathcal{F} $ を最適化する最良のアルゴリズムにおける、最悪ケース期待誤差として、局所化ミニマックス複雑度 $ R_T(f; \mathcal{F}) $ を提案する。
• 近傍の点における部分微分の距離を用いて定義される、計算的連続性モジュラス $ \omega_f(\epsilon) $ を導入し、これを局所的複雑度を特徴付ける主要なツールとする。
• 局所ミニマックス複雑度が $ \omega_f(\epsilon) $ によって下界で抑えられることを確立し、この下界がタイトになる条件を提示する。
• 確率的オракルにクエリを発行し、部分勾配推定に基づいて探索区間を更新する、1次元における適応的アルゴリズムを設計する。
• このアルゴリズムの期待誤差が、対数要因を除いて局所ミニマックス複雑度と一致するレートで収束することを証明する。
• 濃度不等式と部分微分距離の性質を用いて、反復処理中に最適領域を失う確率を抑えている。

実験結果

リサーチクエスチョン

• RQ1 確率的凸最適化におけるミニマックス複雑度を、関数クラス全体の最悪ケースではなく、個々の関数に局所化することは可能か？
• RQ2 統計的連続性モジュラスの計算的類似物とは何か？ そして、特定の凸関数を最適化する難易度をどのように特徴づけるか？
• RQ3 局所ミニマックス複雑度ベンチマークがスーパー効率的である、すなわち、すべての関数に対して一貫してそれを上回る性能を達成できるアルゴリズムは存在しない、と示せるか？
• RQ4 特に1次元設定において、適応的アルゴリズムが実際のところ、局所ミニマックス複雑度にどの程度達することができるか？
• RQ5 関数の最小値における曲率は、その局所ミニマックス複雑度および必要な確率的部分勾配クエリ数にどのように関係するか？

主な発見

• 局所ミニマックス複雑度は、最適解付近での部分微分の摂動に対する感受性を定量化する計算的連続性モジュラス $ \omega_f(\epsilon) $ によって下界で抑えられる。
• 本稿ではスーパー効率性の結果を証明している：ある関数に対してベンチマークを上回る性能を達成するには、他の関数においてより大きな誤差を被らざるを得ない。
• 適応的二分探索アルゴリズムは、1次元凸最適化において、対数要因を除いて局所ミニマックス複雑度を達成する。
• 計算的連続性モジュラスが多項式的成長を示す関数に対しては、アルゴリズムの収束レートが $ \widetilde{C} \omega_f(1/\sqrt{T}) $ と一致し、$ \widetilde{C} $ は問題パラメータに依存する。
• 多くの関数に対して、計算的連続性モジュラスは明示的に計算可能であり、最小値における曲率と直接関係している。
• シミュレーションにより、最小値付近の曲率が大きい関数において、適応的アルゴリズムが標準的確率的勾配降下法よりも収束速度が速いことが示された。