[論文レビュー] Experience-based Optimization: A Coevolutionary Approach

Shengcai Liu, Ke Tang+1 more|arXiv (Cornell University)|Mar 29, 2017

Constraint Satisfaction and Optimization参考文献 27被引用数 6

ひとこと要約

本稿では、最適化ソルバの性能と難易度の高いトレーニングインスタンスの選択を、反復的な共進化によって同時に最適化する共進化フレームワーク「LiangYi」を提案する。10,000件のTSPインスタンスを用いた実験的評価では、LiangYiで訓練されたソルバがParHydraなどの最先端手法を著しく上回り、トレーニングサイクル全体にわたり一貫した性能向上を示した。

ABSTRACT

This paper studies improving solvers based on their past solving experiences, and focuses on improving solvers by offline training. Specifically, the key issues of offline training methods are discussed, and research belonging to this category but from different areas are reviewed in a unified framework. Existing training methods generally adopt a two-stage strategy in which selecting the training instances and training instances are treated in two independent phases. This paper proposes a new training method, dubbed LiangYi, which addresses these two issues simultaneously. LiangYi includes a training module for a population-based solver and an instance sampling module for updating the training instances. The idea behind LiangYi is to promote the population-based solver by training it (with the training module) to improve its performance on those instances (discovered by the sampling module) on which it performs badly, while keeping the good performances obtained by it on previous instances. An instantiation of LiangYi on the Travelling Salesman Problem is also proposed. Empirical results on a huge testing set containing 10000 instances showed LiangYi could train solvers that perform significantly better than the solvers trained by other state-of-the-art training method. Moreover, empirical investigation of the behaviours of LiangYi confirmed it was able to continuously improve the solver through training.

研究の動機と目的

• ソルバのトレーニングとインスタンス選択を別々のフェーズとして扱う既存手法のギャップを是正する。これは両者の強い相関関係に起因する。
• 蓄積された問題解決経験を通じて、ソルバが継続的に改善できるオフライントレーニングフレームワークを構築すること。
• ソルバとインスタンスの共進化が、従来のトレーニング手法に比べてより優れた一般化性能と性能をもたらすかどうかを調査すること。
• 多様な先行研究を統合した単一の概念的枠組みとして、経験ベース最適化（EBO）の包括的視点を提供すること。
• 大規模なTSPインスタンスセットを用いた実験的評価を通じて、LiangYiの有効性を実証すること。

提案手法

• LiangYiは、ソルバの集団とトレーニングインスタンスの集団を維持し、それらが競争的な相互作用を通じて共進化する。
• 各トレーニングサイクルにおいて、現在のインスタンス集団上でソルバ集団が評価され、ソルバの性能に基づいて次サイクル用の最も困難なインスタンスが選択される。
• 進化戦略を用いてソルバ集団を更新し、現在のインスタンスセットに対して優れた性能を示すソルバに選択圧がかかる。
• 新しい、より難しいインスタンスが、現在のソルバの弱みに基づいて生成または選択されるフィードバックループを採用し、継続的な改善を促進する。
• LiangYiの具体例として、ソルバ集団にヒューリスティックアルゴリズムのパフォーマンスアーカイブを用い、巡回セールスマン問題（TSP）に適用する。
• 性能は20回の実行平均を取ることで、時間制限内に解けるインスタンスの割合（適用性）として測定し、信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ソルバとトレーニングインスタンスの共進化は、独立したトレーニングとインスタンス選択に比べ、より優れたソルバ性能をもたらすか？
• RQ2 段階的に難易度が高まるインスタンスを繰り返し特定することで、ソルバの能力が持続的に向上するか？
• RQ3 未観測のインスタンスに対する一般化性能と性能の観点から、LiangYiはParHydraなどの最先端トレーニング手法と比べてどうか？
• RQ4 共進化プロセスは、問題クラス内の多様な問題インスタンスへのソルバの適応性をどの程度向上させるか？
• RQ5 共進化フレームワークは、新しいインスタンスの探索とソルバ改善の活用のバランスを効果的にとれるか？

主な発見

• LiangYiで訓練されたソルバは、最先端手法であるParHydraで訓練されたソルバと比較して、10,000件のTSPインスタンステストセットにおいて著しく高い適用性を達成した。
• トレーニングサイクルが進むにつれ、ソルバ集団（AP₁からAP₄）の性能はトレーニングセットおよびテストセットの両方で一貫的かつ単調に向上した。
• IP₁テストセットでは、AP₄の適用性が0.6867に達し、ベースライン比で17.98%の向上を示した。すべての性能向上比は30%未満であった。
• IP₂テストセットでは、AP₄の適用性が0.5667に達し、ベースライン比で29.02%の向上を示した。すべての向上比は30%未満であった。
• 実験的分析により、LiangYiが動的に困難なインスタンスを同定し、それらに焦点を当てることで、ソルバの継続的改善を実現していることが確認された。
• 共進化メカニズムは、固定されたトレーニングインスタンスセットへの過剰適合を回避しつつ、ソルバの適応とインスタンス選択のバランスをうまく維持した。