[論文レビュー] Tree-Based Optimization: A Meta-Algorithm for Metaheuristic Optimization

Benyamin Ghojogh, Saeed Sharifian+1 more|arXiv (Cornell University)|Sep 25, 2018

Metaheuristic Optimization Algorithms Research参考文献 45被引用数 7

ひとこと要約

本稿では、木構造的分割戦略を用いて低適合度領域を繰り返し pruning することで、メタヒューリスティック探索を向上させるメタアルゴリズムである Tree-Based Optimization (TBO) を提案する。任意のメタヒューリスティック（例：PSO、GA）を部分アルゴリズムとして用い、段階的に小さく洗練された探索部分空間上で探索を実行することで、特に VLSI CAD 設計のような高次元問題において、収束速度と精度が著しく向上する。

ABSTRACT

Designing search algorithms for finding global optima is one of the most active research fields, recently. These algorithms consist of two main categories, i.e., classic mathematical and metaheuristic algorithms. This article proposes a meta-algorithm, Tree-Based Optimization (TBO), which uses other heuristic optimizers as its sub-algorithms in order to improve the performance of search. The proposed algorithm is based on mathematical tree subject and improves performance and speed of search by iteratively removing parts of the search space having low fitness, in order to minimize and purify the search space. The experimental results on several well-known benchmarks show the outperforming performance of TBO algorithm in finding the global solution. Experiments on high dimensional search spaces show significantly better performance when using the TBO algorithm. The proposed algorithm improves the search algorithms in both accuracy and speed aspects, especially for high dimensional searching such as in VLSI CAD tools for Integrated Circuit (IC) design.

研究の動機と目的

• VLSI CAD などの工学分野で一般的に見られる高次元最適化問題における、収束が遅く精度が低いという課題に対処すること。
• 既存のメタヒューリスティックアルゴリズムのコアロジックを変更せずに、それを強化する汎用フレームワークを開発すること。
• 反復的な pruning を通じて生産的でない領域を体系的に削除することで、探索空間の複雑さを低減すること。
• 高次元の最適化ランドスケープにおいて、メタヒューリスティック最適化の速度と精度を両方向上させること。

提案手法

• TBO は、各ノードが探索空間の部分領域を表す木構造を構築する。各ノードで適合度が評価される。
• 各反復で、低適合度値を示す部分木が特定され、削除され、探索は高い可能性を示す領域に集中する。
• pruning プロセスは適合度評価によってガイドされ、グローバル最適解を含む可能性がより高い領域のみが保持される。
• 3 種類の変種が提案される：二分木 TBO（1 次元ずつ分割）、適応的 TBO（適合度勾配に基づく動的 pruning）、多枝 TBO（複数次元同時に pruning）。
• 任意の既存のメタヒューリスティック（例：PSO、GA）を、TBO 内の部分アルゴリズムとして用い、縮小された部分領域上で局所探索を実行できる。
• アルゴリズムは反復的に進行し、グローバル最適解への収束が達成されるまで、段階的に探索空間を精錬する。

実験結果

リサーチクエスチョン

• RQ1 既存のメタヒューリスティック最適化器の性能を、探索空間の複雑さを低減することで向上させるようなメタアルゴリズムを設計できるか？
• RQ2 低適合度領域の木構造的 pruning は、高次元最適化における収束速度と解の精度にどのように影響するか？
• RQ3 TBO はベンチマーク関数や現実の高次元問題において、単独のメタヒューリスティックアルゴリズムをどの程度上回るか？
• RQ4 TBO は、高次元性と計算コストが重要な要因となる、VLSI IC 設計のような複雑な工学的問題に効果的に適用可能か？
• RQ5 性能とスケーラビリティの観点から、TBO の異なる変種（二分木、適応的、多枝）の相対的な利点は何か？

主な発見

• TBO は、特に高次元設定において、ベンチマーク関数上で単独のメタヒューリスティックアルゴリズム（例：PSO、GA）を著しく上回り、グローバル最適解に到達する。
• 三次元実験では、TBO に GA を部分アルゴリズムとして用いた場合、GA 単体よりも平均誤差率が低く、より優れた精度と高速な収束を示した。
• 高次元ケースでは、TBO が生産的でない領域を pruning することで探索空間を指数関数的に縮小し、より高速かつ高精度な最適化を実現した。
• 多枝 TBO 変種は、すべてのベンチマークで最も一貫した改善を示し、特に高次元において顕著であった。
• TBO の性能優位性は次元数が増えるほど顕著になり、VLSI CAD ツールのような複雑で現実的な応用分野におけるスケーラビリティと有効性を裏付けた。
• 低次元ベンチマークでは TBO が単独アルゴリズムを上回らなかったケースもあったが、高次元バージョンでは一貫して優れた結果を達成しており、次元依存的な優位性が顕著であった。