[論文レビュー] A Two stage Adaptive Knowledge Transfer Evolutionary Multi-tasking Based on Population Distribution for Multi/Many-Objective Optimization

Zhengping Liang, Weiqi Liang+3 more|arXiv (Cornell University)|Jan 3, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 56被引用数 10

ひとこと要約

本稿では、集団の分布に基づく二段階の適応的知識移譲を用いる、多目的・多数目的最適化のための進化的なマルチタスクアルゴリズムであるEMT-PDを提案する。確率モデルを用いて探索をガイドし、個体の探索範囲を動的に調整することで、収束性と多様性を向上させ、新規に設計された多数目的ベンチマークを含むマルチタスクテストセットにおいて、6つの最先端アルゴリズムを上回る性能を発揮する。

ABSTRACT

Multi-tasking optimization can usually achieve better performance than traditional single-tasking optimization through knowledge transfer between tasks. However, current multi-tasking optimization algorithms have some deficiencies. For high similarity problems, the knowledge that can accelerate the convergence rate of tasks has not been fully taken advantages of. For low similarity problems, the probability of generating negative transfer is high, which may result in optimization performance degradation. In addition, some knowledge transfer methods proposed previously do not fully consider how to deal with the situation in which the population falls into local optimum. To solve these issues, a two-stage adaptive knowledge transfer evolutionary multi-tasking optimization algorithm based on population distribution, labeled as EMT-PD, is proposed. EMT-PD can accelerate and improve the convergence performance of tasks based on the knowledge extracted from the probability model that reflects the search trend of the whole population. At the first transfer stage, an adaptive weight is used to adjust the step size of individual's search, which can reduce the impact of negative transfer. At the second stage of knowledge transfer, the individual's search range is further adjusted dynamically, which can improve the diversity of population and be beneficial for jumping out of local optimum. Experimental results on multi-tasking multi-objective optimization test suites show that EMT-PD is superior to other six state-of-the-art evolutionary multi/single-tasking algorithms. To further investigate the effectiveness of EMT-PD on many-objective optimization problems, a multi-tasking many-objective test suite is also designed in this paper. The experimental results on the new test suite also demonstrate the competitiveness of EMT-PD.

研究の動機と目的

• 高類似性および低類似性問題を扱う際の、既存のマルチタスク進化的アルゴリズムの限界を克服すること。
• 集団の分布に基づく適応的調整により、マルチタスク最適化における悪影響を及ぼす知識移譲（ネガティブトランスファー）を軽減すること。
• 第二段階の知識移譲において、個体の探索範囲を動的に調整することで、集団の多様性を向上させ、局所最適解からの脱出を促進すること。
• 新規に設計された多数目的ベンチマークを含む、多目的および多数目的最適化のテストセット上で、提案手法を評価すること。
• EMT-PDが、6つの最先端の進化的単一タスクおよびマルチタスクアルゴリズムを上回ることを示すこと。

提案手法

• 各タスクの確率モデルを構築し、集団の探索トレンドを捉え、移譲可能な知識を抽出する。
• 第一段階の知識移譲において、ネガティブトランスファーのリスクを低減するための新規な適応的重みを適用する。
• 第二段階で個体の探索範囲を動的に調整することで、集団の多様性を向上させ、局所最適解からの脱出を促進する。
• タスク間の確率モデルの積を用いて、個体の進化をガイドする知識移譲シグナルを生成する。
• 広範なテスト問題にわたり高い普遍性と頑健性を示すため、ガウス確率モデルをデフォルトとして選択する。
• 個体の変異および選択戦略を、移譲された知識に基づいて変更することで、知識移譲を進化的枠組みに統合する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク多目的最適化において、知識移譲をどのように適応的に制御すればネガティブトランスファーを最小限に抑えることができるか？
• RQ2 集団分布に基づく確率モデルは、マルチタスク進化的アルゴリズムにおける収束性と多様性をどの程度向上させられるか？
• RQ3 二段階の知識移譲メカニズムは、進化過程において収束性と多様性のバランスを効果的にとれるか？
• RQ4 EMT-PDは、最先端手法と比較して多数目的最適化問題においてどの程度の性能を発揮するか？
• RQ5 ガウス、指数、ガンマ、ベータの各確率モデルのうち、どのモデルが多様な最適化タスクにおいて最も頑健な性能を示すか？

主な発見

• EMT-PDは、マルチタスク多目的最適化のテストセットにおいて、6つの最先端の進化的アルゴリズムを顕著に上回る性能を発揮する。
• ガウス確率モデルは、すべてのテスト問題において一貫して最小の平均誤差を達成しており、特にCI+MS、PI+MS、CEC2019-CMO9、MAF-HS2、MAF-LS2において顕著である。
• ガウスモデルを用いたEMT-PDは、2019CEC-CMO5および2019CEC-CMO8でIGDおよびIGD+の観点で最良の性能を達成し、他の確率モデルを上回る。
• 第二段階の知識移譲を欠如させた変種EMT-PD-1は、多様性が低く局所最適解に陥りやすいことから、劣った性能を示す。
• ランダム個体からの知識移譲（EMT-SR、EMT-MR）または最適解からのみの移譲（EMT-SH、EMT-MH）では、安定な収束が保証されないため、提案された二段階メカニズムの必要性が裏付けられる。
• ガンマ確率モデルはNI+LSにおいてガウスモデルよりも高速な収束を示しており、特定の問題タイプにおいて適応的モデル選択の利点が示唆される。