[論文レビュー] Black-box Optimization on Multiple Simplex Constrained Blocks

Priyam Das|arXiv (Cornell University)|Sep 8, 2016

Metaheuristic Optimization Algorithms Research参考文献 14被引用数 3

ひとこと要約

本稿では、サイズが異なる複数の単体ブロックに制約されたパrameterを持つ目的関数のための、効率的なブラックボックス最適化アルゴリズムであるMulti-Block GCDVSSを提案する。各単体ブロック内で同時に適応的ステップサイズを更新できるようにすることで、遺伝的アルゴリズムよりも最大7倍速い収束を達成するとともに、次元数に比例して並列化の増加が抑えられ、高次元設定における計算効率が著しく向上する。

ABSTRACT

Black-box optimization of objective function of parameters belonging to simplex arises in many inference and predictive models. Das (2016) introduced Greedy Co-ordinate Descent of Varying Step-sizes on Simplex (GCDVSS) which efficiently optimizes any black-box function whose parameters belong to a simplex. In this paper, that method has been modified and extended for the case where the set of parameters may belong to multiple simplex block of different sizes. The main principle of this algorithm is to make jumps of varying step-sizes within each simplexes simultaneously and searching for the best direction for movement. Since this algorithm is designed specially for multiple simplex blocks parameter space, the proportion of movements made within the parameter space during the update step of a iteration is relatively higher for the proposed algorithm. Starting from a single initial guess, unlike genetic algorithm or simulated annealing, requirement of parallelization for this algorithm grows linearly with the dimension of the parameter space which makes it more efficient for higher dimensional optimization problems. Comparative studies with some existing algorithms have been provided based on modified well-known benchmark functions. Upto 7 folds of improvement in computation time has been noted for using the proposed algorithm over Genetic algorithm, yielding significantly better solution in all the cases considered.

研究の動機と目的

• パrameterが異なるサイズの複数の単体ブロックに制約される高次元パrameter空間における効率的最適化のニーズに対応すること。
• 次元数の増加に伴いスケーリングが著しく悪化し、過剰な並列化を要する既存のメタヒューリスティクス（遺伝的アルゴリズムやシミュレーテッドアニーリングなど）の限界を克服すること。
• 各単体ブロック内でブロック単位の適応的ステップサイズ更新を活用することで、1イテレーションあたりの有効なパラメータ空間探索の割合を高めること。
• 単体制約が一般的な推論や予測モデリングにおけるブラックボックス関数の効率的最適化を可能にすること。
• ベンチマーク評価において、最先端の手法と比較して計算効率と解の品質の両方を向上させること。

提案手法

• GCDVSS（可変ステップサイズを伴うグリーディー座標降下）アルゴリズムを、単一の単体ではなく複数の単体ブロックを扱えるように拡張する。
• 各イテレーションにおいて、個々の単体ブロック内で同時に適応的ステップサイズを更新することで、パラメータ空間を効率的に探索する。
• 関数評価のフィードバックに基づいて、各単体ブロック内で最良の移動方向を選択するグリーディー戦略を採用する。
• すべてのパラメータ更新がそれぞれの単体制約の範囲内に保たれるように、妥当性を維持する。
• 1つの初期推定値を用い、集団ベースの探索を回避することで、メモリと並列化のオーバーヘッドを削減する。
• パラメータ空間の総次元数に比例して並列化が増加するが、集団ベースの手法とは異なり、2乗以上またはそれ以上のスケーリングを示さない。

実験結果

リサーチクエスチョン

• RQ1 GCDVSSは、サイズが異なる複数の単体ブロックを効果的に処理できるように拡張可能であり、その効率性と収束特性を保持できるか？
• RQ2 提案されたMulti-Block GCDVSSアルゴリズムは、制約付きブラックボックス最適化問題において、遺伝的アルゴリズムなどの既存のメタヒューリスティクスと比較して、収束速度と解の品質の両面で優れているか？
• RQ3 アルゴリズムの線形並列化スケーリングは、集団ベースの手法と比較して、高次元パラメータ空間におけるスケーラビリティをどの程度向上させるか？
• RQ4 ブロック単位の適応的ステップサイズ戦略は、従来の手法と比較して、1イテレーションあたりの有効なパラメータ空間探索の割合を高めているか？
• RQ5 単体制約を伴うベンチマーク関数において、解の品質を損なわず、著しい計算時間の短縮を達成できるか？

主な発見

• 提案されたMulti-Block GCDVSSアルゴリズムは、全テストベンチマーク関数において遺伝的アルゴリズムに比べ最大7倍の計算時間短縮を達成した。
• 全テストケースにおいて、遺伝的アルゴリズムよりも優れた解の品質を一貫して得ており、収束性能の優位性が示された。
• 並列化要件はパrameter空間の次元数に比例して増加するため、集団ベースの代替手法と比較してはるかにスケーラブルである。
• ブロック単位の適応的ステップサイズ選択のおかげで、各更新ステップにおけるパラメータ空間内での有効な移動割合が、従来のメタヒューリスティクスよりも顕著に高くなった。
• 高次元設定においても、妥当性と効率性を維持でき、速度と解の正確性の両面で既存のアプローチを上回った。
• 複数の単体ブロックを含む多様な問題設定における、変更済みベンチマーク関数に対する実験結果から、アルゴリズムのロバスト性と効率性が確認された。