[論文レビュー] Interactive Evolutionary Multi-Objective Optimization via Learning-to-Rank

Ke Li, Guiyu Lai+1 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

本稿では、意思決定者（DM）の好みを包括的対比較から学習するためのラーニング・トゥ・ランクニューラルネットワークを用いて、意思決定者（DM）の好みをモデル化する一般化されたインタラクティブ進化的多目的最適化フレームワークを提案する。既存のEMOアルゴリズムにプラグインモジュールとして統合することで、DMの好む解（SOI）に効果的に探索を誘導する。10目的までの48のベンチマーク問題において、一貫した高い性能を示した。

ABSTRACT

In practical multi-criterion decision-making, it is cumbersome if a decision maker (DM) is asked to choose among a set of trade-off alternatives covering the whole Pareto-optimal front. This is a paradox in conventional evolutionary multi-objective optimization (EMO) that always aim to achieve a well balance between convergence and diversity. In essence, the ultimate goal of multi-objective optimization is to help a decision maker (DM) identify solution(s) of interest (SOI) achieving satisfactory trade-offs among multiple conflicting criteria. Bearing this in mind, this paper develops a framework for designing preference-based EMO algorithms to find SOI in an interactive manner. Its core idea is to involve human in the loop of EMO. After every several iterations, the DM is invited to elicit her feedback with regard to a couple of incumbent candidates. By collecting such information, her preference is progressively learned by a learning-to-rank neural network and then applied to guide the baseline EMO algorithm. Note that this framework is so general that any existing EMO algorithm can be applied in a plug-in manner. Experiments on $48$ benchmark test problems with up to 10 objectives fully demonstrate the effectiveness of our proposed algorithms for finding SOI.

研究の動機と目的

• 高次元多目的最適化における意思決定者（DM）が好む解（SOI）を同定する課題に対処すること。
• 全パレート最適解にわたり均一な収束性と多様性を求める従来のEMO手法の限界を克服すること。
• 人間のフィードバックを任意のEMOアルゴリズムに統合可能な一般化された、アルゴリズムに依存しないフレームワークを構築すること。
• 直接的な好み入力ではなく、間接的好み獲得（対比較）を用いることで、DMの認知的負担を軽減すること。
• 機械学習による段階的学習と適用を通じて、SOIへの探索効率と正確性を向上させること。

提案手法

• コンサルテーション（フィードバック収集）、好み獲得（潜在的好みモデリング）、最適化（学習済み好みによる誘導）の3モジュールフレームワークを導入する。
• DMが2つの候補から好まれる解を選択する包括的対比較を、間接的好みフィードバックとして用いる。
• 対比較データからDMの潜在的好みをモデル化するため、ラーニング・トゥ・ランク（LTR）ニューラルネットワークを訓練する。
• 任意のEMOアルゴリズム（例：NSGA-II、MOEA/D、IBEA）の環境選択メカニズムに、学習済み好みモデルを統合する。
• 観測された対比較に基づく順位付け損失を最小化するように、勾配降下法を用いてLTRモデルを最適化する。
• 各アルゴリズムの環境選択プロセスに適した選択基準に、学習済み好みを変換することで、多様なEMOアルゴリズムとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ラーニング・トゥ・ランクモデルは、インタラクティブEMOにおける対比較から人間の好みを効果的にモデル化できるか？
• RQ2 提案フレームワークは、好みに基づかないEMOと比較して、DMが好む解（SOI）への収束性をどのように向上させるか？
• RQ3 相互作用中に不確実性や一貫性のない好みフィードバックが与えられた場合、フレームワークのロバストネスはどの程度か？
• RQ4 パレート基準、指標基準、分解基準のEMOアルゴリズム（Pareto-、indicator-、decomposition-based）のすべてに一般化可能か？アルゴリズム特有の設計を必要としないか？
• RQ5 好み獲得におけるノイズの程度が、最終解集合の近似精度にどのように影響するか？

主な発見

• 提案された I-MOEA/D/LTR、I-NSGA-II/LTR、I-R2-IBEA/LTR の変種は、10目的までの48のベンチマーク問題において、一貫してDMが好む解に収束した。
• フレームワークはやや高いノイズレベルに対してもロバストである：ノイズレベル（κ）が上昇しても、ノイズなしの「オラクル」ケースと近い近似誤差を維持した。
• I-MOEA/D/LTR は高いノイズレベル（低κ）に対しては感受性を示すが、依然として妥当な性能を維持しており、中程度のロバストネスを示した。
• I-NSGA-II/LTR と I-R2-IBEA/LTR はノイズに対して高い耐性を示し、進化的プロセスが正確な好み信号に依存しにくいことが示唆された。
• ラーニング・トゥ・ランクモデルはDM好みを効果的に捉え適用でき、標準的なEMOと比較してSOIへの探索効率を顕著に向上させた。
• フレームワークは汎用性が高く、プラグインアーキテクチャにより、多様なEMOアルゴリズムにスムーズに統合可能であった。