[論文レビュー] Efficient Convex Optimization with Membership Oracles

Yin Tat Lee, Aaron Sidford+1 more|arXiv (Cornell University)|Jun 22, 2017

Complexity and Algorithms in Graphs参考文献 8被引用数 23

ひとこと要約

この論文は、評価オラクルとメンバーシップオラクルのみを用いて、凸集合上での凸関数の最小化を実行する確率的アルゴリズムを提示している。$\tilde{O}(n^2)$のオラクルクエリと$\tilde{O}(n^3)$の算術演算を達成する。主な貢献は、最適化から分離オラクルおよびメンバーシップオラクルへの還元を著しく効率化したことであり、従来の$n^{10}$または$n^{4.5}$のクエリを要する境界を改善している。

ABSTRACT

We consider the problem of minimizing a convex function over a convex set given access only to an evaluation oracle for the function and a membership oracle for the set. We give a simple algorithm which solves this problem with $ ilde{O}(n^2)$ oracle calls and $ ilde{O}(n^3)$ additional arithmetic operations. Using this result, we obtain more efficient reductions among the five basic oracles for convex sets and functions defined by Grötschel, Lovasz and Schrijver.

研究の動機と目的

• 評価オラクルとメンバーシップオラクルのみが利用可能な場合に、凸集合上での凸関数の最小化のためのより効率的なアルゴリズムを開発すること。
• Grötschel, Lovász, and Schrijverの還元によって従来知られていた$n^{10}$の境界を下回る、凸最適化のオラクル複雑度を低減すること。
• 凸集合および関数のための5つの基本的オラクル（OPT, SEP, MEM, VIOL, VAL）間の還元の効率を向上させること。
• 関数オラクル（評価、部分勾配）と集合オラクル（メンバーシップ、分離）の間のより緊密な関係を、新たな複雑度境界を用いて確立すること。

提案手法

• アルゴリズムは、$\tilde{O}(n)$回のメンバーシップオラクル呼び出しのみを用いて、凸集合の分離オラクルと関数の部分勾配オラクルを構築する。
• 分離オラクルが利用可能な場合に効率的な既知の凸最適化から分離オラクルへの還元を活用する。
• ランダムウォークと体積推定技術を用いて、メンバーシップクエリを介して分離オラクルおよび部分勾配オラクルをシミュレートする。
• 適切に維持された楕円体近似を用いた確率的カットプレーン法を適用する。
• アルゴリズムは点$x_0$と半径$r, R$を維持し、$B(x_0, r) \subseteq K \subseteq B(x_0, R)$を満たすことで、効率的なサンプリングに適した幾何的正則性を保証する。
• 凸共役双対性を用いて、関数オラクル（評価、部分勾配）と集合オラクル（メンバーシップ、分離）の関係を定め、それらの間の還元を可能にする。

実験結果

リサーチクエスチョン

• RQ1 評価オラクルとメンバーシップオラクルのみを用いた凸最適化において、従来の$n^{10}$の境界よりも著しく少ないクエリ回数で実行可能か？
• RQ2 評価オラクルとメンバーシップオラクルのみを用いた凸最適化において、オラクル複雑度と算術コストの最適なトレードオフは何か？
• RQ3 分離オラクルと部分勾配オラクルは、評価オラクルとメンバーシップオラクルのみを用いてどのように効率的にシミュレート可能か？
• RQ4 凸最適化における5つの基本的オラクル（OPT, SEP, MEM, VIOL, VAL）間の還元における、最もタイトな複雑度境界は何か？
• RQ5 集合オラクル（メンバーシップ、分離）への還元を介して、関数オラクル（評価、部分勾配）のオラクル複雑度を低減可能か？

主な発見

• アルゴリズムは、$\tilde{O}(n^2)$のメンバーシップおよび評価オラクルクエリを用いて凸最適化を解き、Grötschel, Lovász, and Schrijverの$n^{10}$の境界に比べて顕著な改善を達成する。
• 総算術コストは$\tilde{O}(n^3)$であり、与えられたオラクルモデルにおいて効率的である。
• メンバーシップオラクルが近似的であっても、誤差許容度$(\text{mem})^{O(1)}$の下で、$\tilde{O}(n^2)$のクエリ複雑度を達成する。
• 最適化から分離オラクルへの還元は、$\tilde{O}(n)$回のメンバーシップクエリで実現可能となり、従来の$n^4$型の境界を改善した。
• 関数オラクル間の関係がタイトにされた：$\text{GRAD}_\delta(f) \leq O(n\log^2(n/\delta)) \cdot \text{MEM}_{(\delta/n)^{O(1)}}(K_f)$。これは、部分勾配クエリがメンバーシップオラクルを介して効率的にシミュレート可能であることを示している。
• 5つの基本的オラクル（OPT, SEP, MEM, VIOL, VAL）間の還元は、次元$n$において対数的要因を除いて漸近的に最適となった。