[論文レビュー] Multi-Objective Learning to Predict Pareto Fronts Using Hypervolume Maximization

Timo M. Deist, Monika Grewal+3 more|arXiv (Cornell University)|Feb 8, 2021

Advanced Multi-Objective Optimization Algorithms被引用数 5

ひとこと要約

本稿では、事前にユーザーが指定した妥協係数を必要とせず、個々のサンプルに対して均等に分布するパレート最適解の近似を予測できる、多目的学習フレームワークを提案する。動的で勾配に基づく損失重み付けを用いたハイパーボリューム最大化により、固定されたスカラー化重みに依存する最先端手法と比較して、非対称なパレート最適解のカバレッジを顕著に向上させた。

ABSTRACT

Real-world problems are often multi-objective with decision-makers unable to specify a priori which trade-off between the conflicting objectives is preferable. Intuitively, building machine learning solutions in such cases would entail providing multiple predictions that span and uniformly cover the Pareto front of all optimal trade-off solutions. We propose a novel approach for multi-objective training of neural networks to approximate the Pareto front during inference. In our approach, the neural networks are trained multi-objectively using a dynamic loss function, wherein each network's losses (corresponding to multiple objectives) are weighted by their hypervolume maximizing gradients. We discuss and illustrate why training processes to approximate Pareto fronts need to optimize on fronts of individual training samples instead of on only the front of average losses. Experiments on three multi-objective problems show that our approach returns outputs that are well-spread across different trade-offs on the approximated Pareto front without requiring the trade-off vectors to be specified a priori. Further, results of comparisons with the state-of-the-art approaches highlight the added value of our proposed approach, especially in asymmetric Pareto fronts.

研究の動機と目的

• 実世界の応用において、ユーザーの好みが事前に不明な状況下で、均等に分布し多様性のあるパレート最適解を生成する課題に対処すること。
• 線形スカラー化や固定された妥協係数に依存する手法が、非対称なパレート最適解を効果的にカバーできないという限界を克服すること。
• ユーザーが好みのベクトルを事前に指定しなくても、各サンプルに対して複数の近似的に最適な妥協解を出力できるようにモデルを訓練することで、事後意思決定を可能にすること。
• サンプル全体の平均損失に基づく学習では、個々のサンプルのパレート最適解に均等に分布した予測を達成するのに不十分であることを示すこと。
• さまざまな機械学習モデル、特にニューラルネットワークに適用可能なスケーラブルで汎用性の高い手法を提供すること。

提案手法

• 本手法は、各ネットワークのハイパーボリューム最大化勾配に基づいて損失を動的に重み付ける動的損失関数を採用し、各サンプルごとに複数の目的を同時に最適化する。
• パレート最適解の目的空間における多様性と均等な分布を保証するため、最適化の目的としてハイパーボリューム（HV）を用いる。
• 各パレート最適解の1つを生成する責任を負う別々のニューラルネットワークの集合を訓練し、損失重みをHV勾配に基づいて動的に調整する。
• ハイパーボリュームの定義に用いる目的空間内の基準点として、ランダムに初期化されたネットワークのスケーリング済み損失を実用的なデフォルトとして推奨する。
• 最適化プロセスがHV最大化によって自然に全パレート最適解を探索できるようにすることで、事前に妥協係数ベクトルを指定する必要を回避する。
• 本フレームワークは一般性に富んでおり、目的数や予測数にかかわらず適用可能であるが、高次元では近似を用いて計算複雑性を制御する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーボリューム最大化を用いた多目的学習は、事前にユーザーが指定した妥協係数がなくても、パレート最適解全体にわたり均等に分布した多様な予測を生成できるか？
• RQ2 パレート最適解が非対称な場合、HVベースの学習は固定スカラー化手法と比べてどのように異なるか？
• RQ3 サンプル全体の平均損失に基づく学習は、個々のサンプルのパレート最適解に均等に分布した予測を達成するのに十分か？
• RQ4 従来のスカラー化手法が最適解の非対称性により失敗する状況でも、提案手法は全パレート最適解を効果的にカバーできるか？
• RQ5 損失スケーリングと基準点の選定が、パレート最適解近似の品質とカバレッジに与える影響は何か？

主な発見

• 提案手法であるHV最大化アプローチは、事前に妥協係数を指定する最先端手法と比較して、非対称なパレート最適解のカバレッジを顕著に向上させた。
• 実験により、サンプル全体の平均損失に基づく学習では、特に凸または凹のケースにおいて、個々のサンプルのパレート最適解に均等に分布した予測が得られないことが示された。
• 本手法は、ユーザーが事前に妥協係数ベクトルを定義する必要なしに、パレート最適解全体にわたり均等に分布した予測を効果的に生成できた。
• 損失を初期値の大きさに基づいてスケーリングしても、本手法は固定スカラー化手法を上回った。これは、問題の本質がスケーリングの問題ではなく、構造的要因に起因することを示唆している。
• 基準点は、ランダムに初期化されたネットワークのスケーリング済み損失を用いることで効果的に設定でき、ハイパーパramータチューニングを簡素化できる。
• 本手法は、多目的セグメンテーションやニューラルスタイルトランスファーを含むさまざまな問題に一般化可能であり、実世界への応用可能性を示した。