[論文レビュー] Query Complexity of Derivative-Free Optimization

Kevin Jamieson, Robert D. Nowak+1 more|arXiv (Cornell University)|Sep 11, 2012

Computability, Logic, AI Algorithms参考文献 17被引用数 78

ひとこと要約

本稿は、ノイズのある関数評価およびブール関数比較の下で、勾配なし最適化（DFO）のクエリ複雑度の根本的な下界を確立し、ノイズ下でも勾配法のより速い $\Theta(1/T)$ 収束レートを達成できないことを証明する。また、数値関数値に依存せず、ペアワイズ比較のみを用いる新しいDFOアルゴリズムを提案し、$\widetilde{O}(n(n/T)^{1/2})$ の近似的最適な収束率を達成する。これは $T$ に関して下界と一致しており、比較ベースのDFOが評価ベースのDFOと同等のクエリ効率を有することを示している。

ABSTRACT

This paper provides lower bounds on the convergence rate of Derivative Free Optimization (DFO) with noisy function evaluations, exposing a fundamental and unavoidable gap between the performance of algorithms with access to gradients and those with access to only function evaluations. However, there are situations in which DFO is unavoidable, and for such situations we propose a new DFO algorithm that is proved to be near optimal for the class of strongly convex objective functions. A distinctive feature of the algorithm is that it uses only Boolean-valued function comparisons, rather than function evaluations. This makes the algorithm useful in an even wider range of applications, such as optimization based on paired comparisons from human subjects, for example. We also show that regardless of whether DFO is based on noisy function evaluations or Boolean-valued function comparisons, the convergence rate is the same.

研究の動機と目的

• 関数評価がノイズで汚されている場合の、勾配なし最適化（DFO）の収束速度の根本的限界を確立すること。
• 関数比較に基づくDFO手法が、実際の関数評価を用いる手法と同等の収束速度を達成できるかどうかを調査すること。
• ノイズのある関数評価および比較オракルの両方を前提とした強い凸関数に対して、近似的最適な収束を達成する新しいDFOアルゴリズムを開発すること。
• 勾配ベース手法とDFO手法の性能差が、ペアワイズ比較のみを用いてもノイズ下で持続することを示すこと。
• 人間被験者による比較（例：「より良いか、悪いか？」）が可能な状況にまでDFOの適用範囲を拡張すること。

提案手法

• 本稿は、ノイズのある関数評価および比較オラクルの下でDFOの期待最適化誤差の下界を導出し、両モデルにおいて根本的な $\Omega(\sqrt{1/T})$ レートであることを示している。
• 数値関数値に依存せず、ブール値の関数比較のみを用いる新しいDFOアルゴリズムを導入している。
• コイン投げ戦略を用いて、比較がノイズを含んでも関数差の符号を頑健に推定するラインサーチを実行している。
• 特に $\kappa > 1$ の場合、関数差が小さいと信頼性が低下するため、ユニオンバウンディングと繰り返しサンプリングを用いて信頼性の高い比較意思決定を保証している。
• 強凸性とリプシッツ勾配の仮定を考慮し、$T$、次元 $n$、信頼パラメータに関して収束レートを導出している。
• 提案アルゴリズムが $\widetilde{O}(n(n/T)^{1/2})$ の収束率を達成することを証明しており、次元依存性において $n$ の要因を除き、$T$ に関して下界と一致している。

実験結果

リサーチクエスチョン

• RQ1 関数評価がノイズで汚されている場合の、勾配なし最適化の根本的クエリ複雑度の限界は何か？
• RQ2 ペアワイズ比較に基づくDFOアルゴリズムは、実際の関数評価を用いる手法と同等の収束速度を達成できるか？
• RQ3 ノイズや信頼性の低い比較応答が存在する中でも、関数比較のみで動作する、証明可能な近的最適なDFOアルゴリズムは存在するか？
• RQ4 ノイズ下において、DFOの性能は勾配ベース手法と比べてどうなるか、特に $T$ に関する収束速度のスケーリングの観点から。
• RQ5 比較オラクルの信頼性モデル（$\kappa$ でパrameter化）が、必要な総クエリ数に与える影響は何か？

主な発見

• 本稿は、ノイズのある関数評価またはペアワイズ比較を用いる任意のDFOアルゴリズムについて、期待最適化誤差に $\Omega(\sqrt{1/T})$ の下界を証明している。これは強い凸関数に対しても成立する。
• この下界は有限差分法の収束速度と一致しており、DFOがノイズ付き勾配法の $\Theta(1/T)$ レートを達成できないことを示している。
• 提案されたDFOアルゴリズムは $\widetilde{O}(n(n/T)^{1/2})$ の収束率を達成しており、次元依存性において $n$ の要因を除き、$T$ に関して下界と一致する。
• $\kappa=1$ の場合、アルゴリズムの収束レートは $\widetilde{O}(\exp(-c\sqrt{T/(n\log(n/\delta))}))$ となり、定常信頼性下で $T$ に関して指数的減衰を示す。
• 解析により、比較ベースのDFOは評価ベースのDFOより遅くならないことが示されており、両者とも $\Omega(\sqrt{1/T})$ の下界を同じく達成している。
• 関数差が小さい場合に比較の信頼性が低下する（$\kappa > 1$）状況でも、アルゴリズムは有効に機能し、クエリ複雑度は $\widetilde{O}(nL/\tau \cdot (n/\epsilon)^{2(\kappa-1)} \log^2(f(x_0)-f(x^*)) \log(n/\delta))$ に比例して増加する。