[論文レビュー] An Online Prediction Approach Based on Incremental Support Vector Machine for Dynamic Multiobjective Optimization

Dejun Xu, Min Jiang+4 more|arXiv (Cornell University)|Feb 24, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 51被引用数 4

ひとこと要約

本稿では、動的多目的最適化問題（DMOPs）におけるPareto最適解の変化を追跡するオンライン予測手法ISVM-DMOEAを提案する。本手法は、履歴的なPareto最適解間の非線形相関をモデル化するため、増分型サポートベクターマシン（ISVM）を用いる。新しい最適解を継続的に更新し、データの不均衡を解消するためSMOTEを適用することで、高品質な初期集団を生成し、ベンチマーク問題において最先端のアルゴリズムを著しく上回る収束性と性能を達成する。

ABSTRACT

Real-world multiobjective optimization problems usually involve conflicting objectives that change over time, which requires the optimization algorithms to quickly track the Pareto optimal front (POF) when the environment changes. In recent years, evolutionary algorithms based on prediction models have been considered promising. However, most existing approaches only make predictions based on the linear correlation between a finite number of optimal solutions in two or three previous environments. These incomplete information extraction strategies may lead to low prediction accuracy in some instances. In this paper, a novel prediction algorithm based on incremental support vector machine (ISVM) is proposed, called ISVM-DMOEA. We treat the solving of dynamic multiobjective optimization problems (DMOPs) as an online learning process, using the continuously obtained optimal solution to update an incremental support vector machine without discarding the solution information at earlier time. ISVM is then used to filter random solutions and generate an initial population for the next moment. To overcome the obstacle of insufficient training samples, a synthetic minority oversampling strategy is implemented before the training of ISVM. The advantage of this approach is that the nonlinear correlation between solutions can be explored online by ISVM, and the information contained in all historical optimal solutions can be exploited to a greater extent. The experimental results and comparison with chosen state-of-the-art algorithms demonstrate that the proposed algorithm can effectively tackle dynamic multiobjective optimization problems.

研究の動機と目的

• 動的多目的最適化問題（DMOPs）におけるPareto最適解のフロントの変化を追跡する課題に対処すること。
• 従来の手法が非線形相関を無視し、履歴データの使用が限定的である線形予測モデルの限界を克服すること。
• 過去の情報を破棄せずに、継続的に新しい最適解を統合するオンライン学習フレームワークを構築すること。
• 増分学習と合成データ拡張を用いて、動的環境下での予測精度と集団品質を向上させること。
• 提案手法の汎用性とロバスト性を、さまざまな静的多目的最適化アルゴリズムと組み合わせて示すこと。

提案手法

• 本手法は、動的多目的最適化をオンライン学習プロセスとして扱い、各新しい最適解セットに対して増分型サポートベクターマシン（ISVM）を更新する。
• ISVMは複数の時刻における最適解間の非線形関係を学習し、新たなPareto最適集合の予測を正確に行う。
• 不足したトレーニングサンプルの影響を軽減するために、ISVM学習の前段階で合成少数クラス過剰生成法（SMOTE）を適用する。
• 訓練済みのISVMを用いて、高品質なランダム解をフィルタリング・選別し、次の環境用の初期集団を形成する。
• RM-MEDA、NSGA-II、MOPSOなどの静的多目的最適化手法と統合することで、ハイブリッドフレームワークであるISVM-DMOEAを構築する。
• システムは動的に適応する：環境変化が検出されると、ISVMが有望な解領域を予測し、それに基づいて初期集団が生成される。

実験結果

リサーチクエスチョン

• RQ1 増分型サポートベクターマシン（ISVM）は、動的多目的最適化における時間的変化に伴うPareto最適解間の非線形相関を効果的にモデル化できるか？
• RQ2 ISVMとSMOTEを統合することで、データが乏しい動的最適化状況における予測精度はどのように向上するか？
• RQ3 収束性とハイパーボリューム指標の観点から、ISVM-DMOEAは既存の予測ベースの進化的アルゴリズムをどの程度上回るか？
• RQ4 提案手法は、さまざまな静的多目的最適化アルゴリズムと組み合わせても、強力な性能を維持できるか？
• RQ5 ISVMのオンライン学習メカニズムは、過去の最適解データを破棄せずに、すべてを有効に活用できるか？

主な発見

• DF1ではDA-RM-MEDA比でMIGD平均で62.9%の向上を達成し、DF6では最大91.8%の削減を記録した。
• DF6では、MIGD平均をDA-RM-MEDAの12.650から12.299に低下させ、高難易度問題でも優れた性能を示した。
• ISVM-MOPSOの変種は、DF2でMIGD平均を68.2%削減し、他の4つの問題でも60%以上を記録し、優れた収束速度を示した。
• アブレーションスタディにより、ISVMとSMOTEの両方が性能向上に顕著に寄与しており、ISVMは全テスト問題で一貫した改善を示した。
• NSGA-IIやMOPSOと統合した場合にも、MIGDで22.6%から68.2%の改善を示し、強い適応性を示した。
• 複雑なPOF形状（穴や不規則な分布を含む）の問題に対しても、優れた適応性を示したが、相関が低い環境では課題が残っている。