[論文レビュー] Time Efficiency in Optimization with a Bayesian-Evolutionary Algorithm

Gongjin Lan, Jakub M. Tomczak+2 more|arXiv (Cornell University)|May 4, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 23被引用数 11

ひとこと要約

本稿では、時間効率を向上させるために、初期段階でデータ効率の高いベイズ最適化（BO）を用い、その後BOの計算コストが高くなりすぎると見なされた段階で進化計算（EA）に切り替えるハイブリッドなベイズ的・進化的アルゴリズム、BEAを提案する。BEAは、クラスタリングされた初期集団と自己適応的ガウス変異を用いて知識を転送し、ベンチマーク関数およびロボット制御タスクにおいて、BOおよびEAを上回る時間効率と最終的な目的関数値を達成する。

ABSTRACT

Not all generate-and-test search algorithms are created equal. Bayesian Optimization (BO) invests a lot of computation time to generate the candidate solution that best balances the predicted value and the uncertainty given all previous data, taking increasingly more time as the number of evaluations performed grows. Evolutionary Algorithms (EA) on the other hand rely on search heuristics that typically do not depend on all previous data and can be done in constant time. Both the BO and EA community typically assess their performance as a function of the number of evaluations. However, this is unfair once we start to compare the efficiency of these classes of algorithms, as the overhead times to generate candidate solutions are significantly different. We suggest to measure the efficiency of generate-and-test search algorithms as the expected gain in the objective value per unit of computation time spent. We observe that the preference of an algorithm to be used can change after a number of function evaluations. We therefore propose a new algorithm, a combination of Bayesian optimization and an Evolutionary Algorithm, BEA for short, that starts with BO, then transfers knowledge to an EA, and subsequently runs the EA. We compare the BEA with BO and the EA. The results show that BEA outperforms both BO and the EA in terms of time efficiency, and ultimately leads to better performance on well-known benchmark objective functions with many local optima. Moreover, we test the three algorithms on nine test cases of robot learning problems and here again we find that BEA outperforms the other algorithms.

研究の動機と目的

• 既存の最適化比較が関数評価回数にのみ依存するという限界に対処する。
• 計算時間単位あたりの目的関数値の期待的増加という、時間効率の形式的測定を提案する。
• 初期段階ではBOのデータ効率を活用し、後続段階ではEAの時間効率を活用するハイブリッドアルゴリズムを開発し、全体的な性能を向上させる。
• BOからEAへの有効な知識転送法を調査し、切り替え時の解の品質を維持する。
• 提案されたBEAアルゴリズムが、合成ベンチマーク関数および現実世界のロボット制御問題の両方で有効であることを検証する。

提案手法

• 時間効率を計算時間1秒あたりの目的関数値の期待的増加として定義する。
• BOの時間効率がEAを下回るようになる段階で、BOからEAに切り替えることを提案する。これは、計算コストの増加を経験的に観察した結果に基づく。
• BOが生成した解の上位50%をクラスタリングし、各クラスタから最良の個体を選んでEAの初期集団を形成することで、BOからEAへの知識転送を実現する。
• EAに自己適応的ガウス変異戦略を実装し、測定された時間効率（1秒あたりの増加量）に応じて変異ステップサイズを調整する。
• 予備実験に基づき、BOからEAへの切り替え点として250～300回の関数評価を推奨する。
• BOとEAを2段階の最適化プロセスとして統合する：段階1ではスイッチポイントまでBOを実行し、段階2では知識転送済みのEAを自己適応的変異とともに実行する。

実験結果

リサーチクエスチョン

• RQ1 時間経過に伴い、ベイズ最適化（BO）と進化計算（EA）の間で、計算時間1単位あたりの目的関数値の増加（時間効率）はどのように比較されるか？
• RQ2 ベイズ最適化の時間効率が、進化計算のそれ以下に低下するのはどの時点か？ その時点で切り替えが有益であるとされるか？
• RQ3 ベイズ最適化から進化計算への知識転送において、最も効果的な方法は何か？ これにより、切り替え時の解の品質を保てるか？
• RQ4 BOとEAをハイブリッドに組み合わせたアルゴリズムは、多数の局所最適解を有する問題において、単独のBOまたはEAよりも優れた時間効率と最終的な目的関数性能を達成できるか？
• RQ5 提案されたBEAアルゴリズムは、シミュレーションおよび物理的ロボット上での現実世界のロボット制御タスクにおいて、BOおよびEAを上回る性能を発揮するか？

主な発見

• 多数の局所最適解を有するベンチマーク関数において、BEAはBOおよびEAを上回る時間効率を達成し、少ない計算時間でより高い目的関数値を達成した。
• ロボット制御タスクにおいて、BEAはBOおよびEAよりも高いフィットネスを達成する制御器を学習した。実世界のテストでは、BEA/BOのフィットネス比が最大で168.2%に達した。
• 方向走行タスクでは、BEAで学習した制御器を搭載したロボットが1.72メートルを走行し、BO制御器よりも顕著に遠くまで移動した。これは、より優れた行動的性能を示している。
• 回転タスクでは、BEAで学習した制御器によりロボットが2ラジアン以上回転しながらも、中心から10cm以内のずれに保たれ、BO制御器を上回った。
• 物理的ロボット上での9つのテストケースすべてにおいて、BEAで学習した制御器はBOで学習した制御器を一貫して上回った。これは、シミュレーション結果が現実世界の展開でも有効であることを裏付けた。
• BOからEAへの最適な切り替え点は、経験的に250～300回の関数評価の範囲で特定され、初期段階のデータ効率と後続段階の時間効率のバランスを最適にとれた。