[論文レビュー] Learning the Pareto Front with Hypernetworks

Aviv Navon, Aviv Shamsian+2 more|arXiv (Cornell University)|Oct 8, 2020

Robot Manipulation and Learning参考文献 62被引用数 30

ひとこと要約

本論文は Pareto HyperNetworks (PHNs) を提案し、単一の統一モデルで多目的問題の全 Pareto Front を学習し、推論時に任意の望ましい動作点を選択できるようにする。

ABSTRACT

Multi-objective optimization (MOO) problems are prevalent in machine learning. These problems have a set of optimal solutions, called the Pareto front, where each point on the front represents a different trade-off between possibly conflicting objectives. Recent MOO methods can target a specific desired ray in loss space however, most approaches still face two grave limitations: (i) A separate model has to be trained for each point on the front; and (ii) The exact trade-off must be known before the optimization process. Here, we tackle the problem of learning the entire Pareto front, with the capability of selecting a desired operating point on the front after training. We call this new setup Pareto-Front Learning (PFL). We describe an approach to PFL implemented using HyperNetworks, which we term Pareto HyperNetworks (PHNs). PHN learns the entire Pareto front simultaneously using a single hypernetwork, which receives as input a desired preference vector and returns a Pareto-optimal model whose loss vector is in the desired ray. The unified model is runtime efficient compared to training multiple models and generalizes to new operating points not used during training. We evaluate our method on a wide set of problems, from multi-task regression and classification to fairness. PHNs learn the entire Pareto front at roughly the same time as learning a single point on the front and at the same time reach a better solution set. Furthermore, we show that PHNs can scale to generate large models like ResNet18. PFL opens the door to new applications where models are selected based on preferences that are only available at run time.

研究の動機と目的

• Pareto Front Learning (PFL) を、推論時に任意の目的の好みに対して Pareto 最適解を生成できるモデルを学習することとして定義する。
• Pareto HyperNetworks (PHNs) を開発し、好みベクトルに条件付けてターゲットネットワークの重みを生成する。
• 2つのPHNトレーニング変種（PHN-LS および PHN-EPO）を提供し、好みを Pareto 最適解へマッピングする。
• 大規模モデル（例：ResNet18）へのスケーラビリティを示し、per-rayベースライン手法と比較した実行時間および性能上の利点を示す。

提案手法

• PHN を、 simplex 上の m 次元の好みベクトル r に条件付けてターゲットネットワークの重み θ_r を出力するハイパーネットワーク h(r;φ) として定式化する。
• Dirichlet 分布から r をサンプルし、線形スカラー化（PHN-LS）または Exact Pareto Optimal（PHN-EPO）更新を適用して PHN を訓練する。
• PHN-LS は標準的な勾配降下法を用いて重み付き和 ∑i r_i ℓ_i を最適化する。
• PHN-EPO は EPO の降下方向を用いて r によって定義されるビーム上の Pareto 最適点へ移動し、勾配を凸的に結合する。
• 大規模ターゲットネットワークを管理するための部分的パラメータ生成、ハイパーネットワーク正規化層、チャンク化などのスケーラビリティ戦略を検討する。
• ベースライン（LS、PMTL、EPO、CPMTL）と比較し、Hypervolume (HV) および Uniformity 指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 単一のハイパーネットワークは、Pareto front の任意の好みに対して Pareto 最適モデルを生成できるのか？
• RQ2 PHN は完全なフロントカバレッジと EPO 更新で正確な Pareto 最適性を提供するのか？
• RQ3 PHN-LS と PHN-EPO は、HV および uniformity の点でタスク全体において per-ray ベースラインと比べてどうか？
• RQ4 PHN は大規模アーキテクチャ（例：ResNet18）に対して、パラメータ増加を比例させずにスケーラブルか？
• RQ5 異なる好みのために複数の別々のモデルを訓練する場合と比較して、PHN はどのような実行時の利点を提供するか？

主な発見

• PHN は単一のモデルで全 Pareto front を学習し、推論時の好み選択を可能にする。
• PHN-EPO は問い合わせた ray 上で連続的なフロントカバーと正確な Pareto 最適点を達成し、PHN-LS は高速近似を提供する。
• PHN は LS、PMTL、EPO ベースラインと比較して、マルチタスク分類、フェアネス、セグメンテーション、回帰タスクで優れた HV および Uniformity を提供する。
• PHN はチャンク化とパラメータ共有戦略を使用するとトレーニング時間を大幅に削減し、ResNet18 のような大規模ネットワークへスケールする。
• PHN はフロントカバレッジを維持または改善しつつ、per-ray ベースラインと比べて学習可能パラメータ数を大幅に削減する。
• PHN は評価データセット全体で HV が競争力を保つまたは上回る一方で、実行時間は最大で1桁のオーダーの改善を示す。