[論文レビュー] Derivative-free Efficient Global Optimization on High-dimensional Simplex.

Priyam Das|arXiv (Cornell University)|Apr 28, 2016

Advanced Optimization Algorithms Research参考文献 34被引用数 3

ひとこと要約

本稿では、高次元の単体パrameter空間におけるグローバル最適化のための、導出を必要とせず、決定論的でグリーディなアルゴリズムを提案する。各反復で独立した方向に対して変動するステップサイズのジャンプを用いることで、次元に比例してスケーリングする線形な並列処理が可能となり、遺伝的アルゴリズムと比較して20–300倍の高速化を達成し、ベンチマーク上の単体問題において高い解の精度を実現する。

ABSTRACT

In this paper, we develop a novel derivative-free deterministic greedy algorithm for global optimization of any objective function of parameters belonging to a unit-simplex. Main principle of the proposed algorithm is making jumps of varying step-sizes within the simplex parameter space and searching for the best direction to move in a greedy manner. Unlike most of the other existing methods of constraint optimization, here the objective function is evaluated at independent directions within an iteration. Thus incorporation of parallel computing makes it even faster. Requirement of parallelization grows only in the order of the dimension of the parameter space, which makes it more convenient for solving high-dimensional optimization problems in simplex parameter space using parallel computing. A comparative study of the performances of this algorithm and other existing algorithms have been shown for some moderate and high-dimensional optimization problems along with some transformed benchmark test-functions on simplex. Around 20-300 folds improvement in computation time has been achieved using the proposed algorithm over Genetic algorithm with more accurate solution.

研究の動機と目的

• 導出情報が入手できない高次元の単体制約下でのグローバル最適化の課題に対処すること。
• 勾配や確率的手法に依存せずに、パラメータ空間を効率的に探索できる決定論的で導出不要のアルゴリズムを設計すること。
• 関数評価の数ではなくパラメータ空間の次元に比例して増加するように構造化された評価により、スケーラブルな並列処理を可能とし、高次元問題における性能を向上させること。
• 単体制約付き最適化において、遺伝的アルゴリズムなどの既存のヒューリスティック手法よりも、速度と解の精度の両面で優れるようにすること。

提案手法

• アルゴリズムは、単体パラメータ空間内で変動するステップサイズを用いて、有望な領域を効率的に探索するグリーディで決定論的なジャンプを実行する。
• 各反復で、複数の独立した方向を同時に評価することで、並列計算が可能となる。
• 探索方向は、改善の可能性が最も高い方向を優先するグリーディ基準に基づいて選択される。
• すべての移動が単位単体内に制約されることで、パラメータの合計が1に保たれるように、妥当性が保証される。
• ステップサイズの変動により、適応的探索が可能：初期段階では大きなステップ、収束に近づくと微調整が可能。
• アルゴリズムの並列化戦略は、関数評価回数ではなくパラメータ空間の次元に比例してスケーリングされ、高次元においても効率的である。

実験結果

リサーチクエスチョン

• RQ1 導出不要で決定論的なアルゴリズムは、高次元の単体最適化において、遺伝的アルゴリズムのような確率的手法よりも速い収束と高い精度を達成できるか？
• RQ2 独立した方向の並列評価を用いた場合、次元が増加するにつれてアルゴリズムの性能はどのようにスケーリングするか？
• RQ3 固定ステップまたはランダム探索と比較して、変動ステップサイズのジャンプは、収束速度と解の品質をどの程度向上させるか？
• RQ4 高次元空間において、効率的な並列処理を可能にしつつ、単体制約内での妥当性を維持できるか？

主な発見

• 提案されたアルゴリズムは、ベンチマーク上の単体テスト関数において、遺伝的アルゴリズムと比較して計算時間が20–300倍短縮された。
• 特に高次元設定において、遺伝的アルゴリズムよりもより高精度な解を提供した。
• 並列処理が効果的に統合されており、計算要件はパラメータ空間の次元に対してのみ線形に増加する。
• 各反復における独立した方向の評価により、並列アーキテクチャ上で効果的なロードバランシングと高いスループットが実現された。
• グリーディで決定論的な探索方向選択により、確率的またはヒューリスティックな代替手法よりも速い収束が達成された。
• 中程度から高次元の問題に対して安定した性能を示し、変換されたベンチマーク関数において一貫した性能向上が確認された。