[論文レビュー] A ranking approach to global optimization

Cédric Malherbe, Nicolas Vayatis|arXiv (Cornell University)|Mar 14, 2016

Machine Learning and Algorithms参考文献 19被引用数 6

ひとこと要約

本稿は、滑らかさや凸性を要件としない非滑らか・非凸関数のグローバル最適化を可能にする新規な最適化フレームワークを提案する。このフレームワークは、未知の目的関数によって誘導される順序付けルールの学習として問題を定式化し、効率的な最適化を実現する。二部ラーニング手法と凸レベル集合構造を活用することで、収束保証が得られ、ベンチマーク上での実験的性能も高く、最先端の導関数フリー最適化手法を上回る。

ABSTRACT

We consider the problem of maximizing an unknown function over a compact and convex set using as few observations as possible. We observe that the optimization of the function essentially relies on learning the induced bipartite ranking rule of f. Based on this idea, we relate global optimization to bipartite ranking which allows to address problems with high dimensional input space, as well as cases of functions with weak regularity properties. The paper introduces novel meta-algorithms for global optimization which rely on the choice of any bipartite ranking method. Theoretical properties are provided as well as convergence guarantees and equivalences between various optimization methods are obtained as a by-product. Eventually, numerical evidence is given to show that the main algorithm of the paper which adapts empirically to the underlying ranking structure essentially outperforms existing state-of-the-art global optimization algorithms in typical benchmarks.

研究の動機と目的

• 滑らかでない、非凸な関数のグローバル最適化を、関数評価回数を最小限に抑えて行う。
• 局所的な滑らかさ仮定に依存しないように、関数が誘導する順序構造に焦点を当てる。
• 任意の二部ラーニング手法を統合可能なメタアルゴリズムフレームワークを構築する。
• 提案された最適化方式について、理論的収束保証と統計的一貫性を提供する。
• 提案手法の性能を、最先端の導関数フリー最適化アルゴリズムと比較して実験的に検証する。

提案手法

• グローバル最適化を、入力点間の関数値の相対的順序を学習する二部ラーニング問題としてモデル化する。
• 既知の順序構造を用いて逐次サンプリングをグローバル最適解へ誘導するメタアルゴリズム「RankOpt」を導入する。
• 事前知識なしにデータから潜在的な順序構造を学習する、RankOptの適応的変種を提案する。
• 凸レベル集合に依存し、観測済み点の凸包を改善候補領域として定義する。
• 理論的分析により、凸包の連鎖が空であることは、ランク損失がゼロであることに等しく、グローバル最適解への収束を保証する。
• ステップ関数の連続近似を用いて、所望の順序付けと凸レベル集合の性質を持つ滑らかな関数を構築する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない関数に対しても、グローバル最適化を二部ラーニング問題として効果的に再定式化できるか？
• RQ2 順序付けに基づく最適化アルゴリズムの統計的一致性と収束を保証する条件は何か？
• RQ3 提案手法の性能は、既存の導関数フリー最適化手法と比べてどの程度か？
• RQ4 事前の仮定なしに、未知の順序構造に適応できるか？
• RQ5 凸包の幾何的性質と最適化プロセスの収束性との関係は何か？

主な発見

• 提案されたRankOptアルゴリズムは、局所的な滑らかさ仮定を必要とせず、弱い仮定のもとでグローバル最適解への収束を達成する。
• 理論的分析により、凸包の連鎖が空であることは、ランク損失がゼロであることに等しく、これはグローバル最大値の特定に他ならない。
• 適応的バージョンのアルゴリズムは、実験的に潜在的な順序構造を学習し、標準的なグローバル最適化ベンチマークで競争力のある性能を示す。
• 実験的に優れた性能を示し、多様なテスト関数において、最先端の導関数フリー最適化アルゴリズムと同等またはそれを上回る。
• 学習アルゴリズムと最適化手順との間の理論的同等性を確立し、効率的な最適化手法の設計と実装を支援する。
• フレームワークは高次元入力空間や弱い正則性条件に対しても頑健である。これは、関数値の順序付けのみに依存するからである。