[論文レビュー] SCOBO: Sparsity-Aware Comparison Oracle Based Optimization.

HanQin Cai, Daniel McKenzie+2 more|arXiv (Cornell University)|Oct 6, 2020

Machine Learning and Algorithms参考文献 9被引用数 1

ひとこと要約

この論文では、凸関数の低次元構造を活用することで次元 $d$ に対して対数的クエリ複雑度を達成するスパarsity対応の比較オラクルベース最適化手法 SCOBO を提案する。従来の方法が $d$ に対して多項式的依存を示すのとは異なり、SCOBO はノイズのある応答を持つ比較オラクルを用いて効率的に最適化を実行し、合成データおよび MuJoCo データセットにおいて最先端の比較ベース手法を上回る優れた性能を示している。

ABSTRACT

We study derivative-free optimization for convex functions where we further assume that function evaluations are unavailable. Instead, one only has access to a comparison oracle, which, given two points $x$ and $y$, and returns a single bit of information indicating which point has larger function value, $f(x)$ or $f(y)$, with some probability of being incorrect. This probability may be constant or it may depend on $|f(x)-f(y)|$. Previous algorithms for this problem have been hampered by a query complexity which is polynomially dependent on the problem dimension, $d$. We propose a novel algorithm that breaks this dependence: it has query complexity only logarithmically dependent on $d$ if the function in addition has low dimensional structure that can be exploited. Numerical experiments on synthetic data and the MuJoCo dataset show that our algorithm outperforms state-of-the-art methods for comparison based optimization, and is even competitive with other derivative-free algorithms that require explicit function evaluations.

研究の動機と目的

• 関数値の直接評価が得られない状況で、ノイズを含む比較クエリのみが利用可能な場合の勾配なし最適化の課題に対処すること。
• 目的関数に低次元構造が存在する場合に、高次元設定におけるクエリ複雑度を低減すること。
• 関数値が利用不能な状況でも、点間の相対的比較にのみ依存して効率的な最適化を実現するアルゴリズムの開発。
• クエリ効率性および収束速度の観点で、既存の比較ベース最適化手法を上回ること。
• 関数値の明示的評価を必要とする勾配なし手法と同等の性能を、比較ベース手法が達成できることを示すこと。

提案手法

• 2点の関数値の大小を返す比較オラクルを用い、誤差確率は関数値の差に依存する可能性があるが、有界である。
• 関数が顕著に変化すると予想される低次元部分空間にクエリを適応的に集中させるスパarsity対応の探索戦略を導入。
• 比較結果に基づいて探索空間を再帰的に分割・活性サンプリングすることで、全次元の探索に依存することを低減。
• 関数値の差 $|f(x) - f(y)|$ に依存するノイズをモデル化することで、誤差に強い性能を実現。
• 関数に低次元構造が存在する場合、クエリ複雑度が次元 $d$ に対して対数的にスケーリングすることを理論的に証明。これにより、従来の多項式的依存を打ち破る。
• 勾配や関数値の計算を避けて、比較フィードバックを用いた反復的リファインメントにより数値最適化を実行。

実験結果

リサーチクエスチョン

• RQ1 目的関数に低次元構造が存在する場合、比較ベース最適化が次元 $d$ に対して多項式的でないクエリ複雑度を達成できるか？
• RQ2 構造的仮定が一切ない状況で、次元が増加するに従い比較ベース最適化の性能がどのように低下するか？
• RQ3 誤差率が変動するノイズのある比較オラクルを、勾配なし最適化に効果的に活用できるか？
• RQ4 関数値の明示的評価を必要とする手法と比較して、比較オラクルベース手法が性能で上回れるか？
• RQ5 高次元の比較ベース最適化において、スパarsity対応の探索戦略が収束速度およびクエリ効率に与える影響はどの程度か？

主な発見

• 関数に利用可能な低次元構造が存在する場合、SCOBO は次元 $d$ に対して対数的スケーリングのクエリ複雑度を達成する。これは、従来の多項式的依存を示す手法とは対照的である。
• 合成凸関数および MuJoCo 強化学習ベンチマークの両方で、SCOBO は最先端の比較ベース最適化手法を上回る性能を示した。
• 関数値が利用不能な状況下でも、SCOBO の性能は関数値の明示的評価を必要とする勾配なし最適化アルゴリズムと同等の性能を発揮した。
• 誤差確率が関数値の差の大きさに依存する場合、特にノイズの多い比較に対しても、SCOBO は高いロバストネスを示した。
• 数値結果から、低次元構造を活用することで、高次元問題における必要な比較クエリ数が顕著に削減されることを確認した。
• 相対的比較にのみ依存するにもかかわらず、SCOBO は強力な収束特性を維持しており、実世界の最適化タスクにおける実用的妥当性を裏付けた。