[論文レビュー] Automated Design of Metaheuristic Algorithms: A Survey

Qi Zhao, Qiqi Duan+3 more|arXiv (Cornell University)|Mar 12, 2023

Metaheuristic Optimization Algorithms Research被引用数 7

ひとこと要約

本サーベイは、自動化されたメタヒューリスティックアルゴリズム設計の包括的な分類を提示し、プロセスを4つの要素に形式化する：設計空間、設計戦略、性能評価、およびターゲット問題。遺伝的プログラミング、強化学習、およびサーロゲートモデリングなどの主要な技術をレビューし、人間の介入を最小限に抑えた高性能でカスタマイズ可能なメタヒューリスティクスの開発における課題と今後の方向性を特定する。

ABSTRACT

Metaheuristics have gained great success in academia and practice because their search logic can be applied to any problem with available solution representation, solution quality evaluation, and certain notions of locality. Manually designing metaheuristic algorithms for solving a target problem is criticized for being laborious, error-prone, and requiring intensive specialized knowledge. This gives rise to increasing interest in automated design of metaheuristic algorithms. With computing power to fully explore potential design choices, the automated design could reach and even surpass human-level design and could make high-performance algorithms accessible to a much wider range of researchers and practitioners. This paper presents a broad picture of automated design of metaheuristic algorithms, by conducting a survey on the common grounds and representative techniques in terms of design space, design strategies, performance evaluation strategies, and target problems in this field.

研究の動機と目的

• 手動によるメタヒューリスティクス設計の限界（時間のかかる、誤りの多い、専門知識を要する）を是正するため。
• 自動化された設計が計算能力を活用して人間レベルのアルゴリズム作成を凌駆するか、あるいは同等の水準に達する仕組みを探索するため。
• 設計空間、戦略、評価、ターゲット問題というコアな要素を形式化することで、自動化されたメタヒューリスティクス設計を統一的に理解するフレームワークを提供するため。
• アルゴリズム選択や設定と同様の分野との違いを明確にし、概念的境界を明確にするため。
• 研究ギャップと今後の方向性（実世界の応用、自動化機械学習およびメタラーニングとの統合を含む）を特定するため。

提案手法

• 4段階の形式的分類を提案：設計空間（アルゴリズムの構成要素、構造、パラメータ）、設計戦略（例：遺伝的プログラミング、強化学習）、性能評価（指標、サーロゲートモデル）、ターゲット問題。
• アルゴリズム構造の進化に用いられる遺伝的プログラミングや、ポリシーに基づく設計に用いられる強化学習などの代表的技術をレビュー。
• 低精度のモデルを用いてアルゴリズムの性能を予測することで、計算コストを削減するためのサーロゲートベースの性能推定を導入。
• 複数のベンチマークでアルゴリズム比較を行う際の「サイクル順位付けのパラドックス」を解消するために、バイナリフィルタ条件の使用を強調。
• 多ファシリティ評価とモデル学習の統合を議論し、設計の高速化と一般化性能の向上を図る。
• 問題の特性に依存しないエンドツーエンドのサーロゲートモデルを提案し、さまざまな性能指標と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 自動化されたメタヒューリスティクスアルゴリズム設計の主要な構成要素と形式的構造は何か？
• RQ2 遺伝的プログラミングや強化学習といった異なる設計戦略は、アルゴリズム生成にどのように寄与するか？
• RQ3 特に高コストな問題において、計算コストを削減するうえで最も効果的な性能評価戦略は何か？
• RQ4 多様な問題インスタンスにわたって信頼性高くアルゴリズムの性能を推定できるように、サーロゲートモデルを効果的に設計するにはどうすればよいか？
• RQ5 制約条件や大規模な探索空間を伴う実世界の問題にスケーリングする際の主な課題は何か？

主な発見

• 現代の計算リソースを活用して設計空間を完全に探索することで、自動化された設計は人間レベルの性能を上回ることが可能である。
• サーロゲートベースの性能推定は、バイナリフィルタ条件を用いることで、計算コストを著しく削減しながらも、信頼性のあるアルゴリズム順位付けを維持できる。
• 自動化された設計と自動化機械学習・メタラーニングの統合により、メタヒューリスティクスを用いてMLパイプラインの自動生成を実現するなど、分野横断的イノベーションが可能になる。
• 現在の研究は主にTSP、JSSP、SATなどの数値的ベンチマークに限定されており、より広範な実世界応用の必要性が浮き彫りになっている。
• 2番目の種類の自動アルゴリズム設定（コンポonentの組み合わせとハイパーパrameterチューニングの統合）は自動化設計に含まれるため、従来の設定と境界が曖昧になる。
• 多様なアルゴリズム構造を扱い、正確な性能順位（単なる指標値ではなく）を信頼性高く推定できるサーロゲートモデルの設計には、まだ課題が残っている。