[論文レビュー] Gradient-free prox-methods with inexact oracle for stochastic convex optimization problems on a simplex

Alexander Gasnikov, Anastasia Lagunovskaya+2 more|arXiv (Cornell University)|Dec 12, 2014

Sparse and Compressive Sensing Techniques参考文献 11被引用数 9

ひとこと要約

本稿では、単体上での確率的凸最適化に対して勾配フリーな近接法と不正確なオракルを提案し、適切に近接構造と整合させた場合、ユークリッド型ランダム化が球面ランダム化と同等の性能を達成できることを示している。主な貢献は、ランダム化戦略と近接構造を最適に統合した方法であり、不正確なオラクル条件下でも収束速度が向上することを実証している。

ABSTRACT

In the paper we show that euclidian randomization in some situations (i.e. for gradient-free method on a simplex) can be as good as the randomization on the unit sphere in 1-norm. That is on the simplex example we show that for gradient-free methods the choise of the prox-structure and the choise of a way of randomization have to be connected to each other. We demonstrate how it can be done in an optimal way. It is important that we consider inexact oracle.

研究の動機と目的

• 勾配情報が利用できない場合の単体上での確率的凸最適化の課題に対処すること。
• 勾配フリー手法におけるランダム化戦略と近接構造の相互作用を調査すること。
• 不正確なオラクルアクセスと効果的なランダム化を統合した最適な手法を開発すること。
• 不正確なオラクル仮定の下で勾配フリー近接法の収束速度を確立すること。
• 適切に近接構造に一致させた場合、ユークリッド型ランダム化が球面ランダム化と同等に効果的であることを示すこと。

提案手法

• 単体領域に特化した特定の近接構造を備えた近接アルゴリズムフレームワークを採用する。
• 選択した近接構造に一致させるために、単体上でのユークリッドサンプリングによるランダム化を実施し、単位球面上でのランダム化とは異なる。
• 関数値が有界なノイズまたは誤差を伴ってアクセスされる、不正確なオラクルモデルを用いる。
• 単体上のランダム方向から導かれる確率的劣勾配近似をアルゴリズムが使用する。
• オラクルクエリにおける不正確さが有界であるという仮定の下で収束解析を実施する。
• ランダム化の選択が近接構造の幾何学的性質と単体制約集合の関係にどのように関連するかを理論的に導出する。

実験結果

リサーチクエスチョン

• RQ1 単体上でのユークリッド型ランダム化は、近接構造に適切に一致させれば、球面ランダム化と同等の性能を達成できるか？
• RQ2 勾配フリー最適化における単体上での近接構造の選択は、ランダム化戦略とどのように調整すべきか？
• RQ3 この設定下で不正確なオラクルアクセスがある場合、どの程度の収束速度が達成可能か？
• RQ4 ランダム化と近接構造を最小の部分最適性ギャップを達成するように最適に組み合わせる方法はあるか？
• RQ5 ランダム化と近接構造の相互作用は、確率的近接法の収束挙動にどのように影響するか？

主な発見

• 適切に近接構造と一致させた場合、単体上でのユークリッド型ランダム化は球面ランダム化と同等の収束速度を達成できる。
• 最適な手法は、ランダム化と近接構造の独立的選択ではなく、統合的な設計を必要とする。
• 不正確なオラクルに有界な誤差がある場合、k回の反復で収束速度はO(1/√k)となり、勾配ベース手法の既知の境界と一致する。
• 適切なランダム化のもとでは、ノイズのある関数評価下でも部分最適性ギャップがO(1/√k)のオーダーで達成される。
• 解析により、近接構造の選択が、勾配情報が欠如する状況においてランダム化の有効性に顕著に影響することが示された。
• 理論的結果により、提示された手法が与えられた制約下で収束速度の観点から最適であることが確認された。