[論文レビュー] Efficient Multi-Objective Optimization for Deep Learning.

Michael Ruchte, Josif Grabocka|arXiv (Cornell University)|Mar 24, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用数 9

ひとこと要約

本論文は、特徴空間に埋め込みることで好みベクトルに直接条件づけられるスケーラブルなマルチオブジェクティブ最適化手法を提案する。同時に、角罰則正則化により、パレートフロントが均等に分布するように保つ。この手法は、CelebAでEfficientNetを用いた場合、単一目的学習の7%の訓練時間オーバーヘッドで最先端のパレートフロント品質を達成し、速度とスケーラビリティにおいて従来手法を上回る。

ABSTRACT

Multi-objective optimization (MOO) is a prevalent challenge for Deep Learning, however, there exists no scalable MOO solution for truly deep neural networks. Prior work either demand optimizing a new network for every point on the Pareto front, or induce a large overhead to the number of trainable parameters by using hyper-networks conditioned on modifiable preferences. In this paper, we propose to condition the network directly on these preferences by augmenting them to the feature space. Furthermore, we ensure a well-spread Pareto front by penalizing the solutions to maintain a small angle to the preference vector. In a series of experiments, we demonstrate that our Pareto fronts achieve state-of-the-art quality despite being computed significantly faster. Furthermore, we showcase the scalability as our method approximates the full Pareto front on the CelebA dataset with an EfficientNet network at a tiny training time overhead of 7% compared to a simple single-objective optimization. We make our code publicly available at this https URL

研究の動機と目的

• 深層ニューラルネットワークにおけるスケーラブルなマルチオブジェクティブ最適化ソリューションの不足に対処すること。
• 従来手法の限界を克服すること。すなわち、各パレート点ごとに別個のネットワークを訓練する必要がある、またはハイパーネットを用いることで過剰なパラメータオーバーヘッドが生じる。
• 訓練中に全パレートフロントの効率的でリアルタイムな近似を可能にすること。
• 好みベクトルに関する角正則化を用いて、パレートフロント全体にわたる均等な解の分布を維持すること。

提案手法

• 好みベクトルを直接入力特徴空間に拡張することで、アーキテクチャの変更なしにネットワークがこれらの好みに条件づけた出力を得られるようにする。
• 解ベクトルと好みベクトルの間の角度を最小化する角罰則損失を導入し、パレートフロント全体にわたる多様性とカバレッジを保証する。
• 各目的ごとに別個のネットワークを訓練するか、ハイパーネットを用いることなく、パラメータおよび計算オーバーヘッドを低減する。
• 標準的なディープラーニングフレームワークと互換性があり、既存の訓練パイプラインにスムーズに統合可能である。
• 標準的なバックプロパゲーションを用い、損失関数を変更することで、好みに条件づけられた特徴表現を介して複数の目的を同時に最適化する。
• 訓練プロセスは効率的であり、EfficientNetのような大規模モデルでは、単一目的学習に比べてたった7%のオーバーヘッドにとどまる。

実験結果

リサーチクエスチョン

• RQ1 EfficientNetのような大規模モデルに、訓練コストやアーキテクチャの複雑さが著しく増大することなく、マルチオブジェクティブディープラーニングをスケーラブルに適用できるか。
• RQ2 複数回のネットワーク再訓練を要せず、全パレートフロントが均等に分布するように保てるか。
• RQ3 特徴空間における好み条件づけが、従来手法と比較してどれほどパレートフロント品質を向上させられるか。
• RQ4 好みベースの条件づけを用いて全パレートフロントを維持する際の計算オーバーヘッドは、従来のMOOアプローチと比較してどの程度か。

主な発見

• 提案手法は、複数のベンチマークで最先端のパレートフロント品質を達成し、解の多様性と収束性において既存手法を上回る。
• EfficientNetを用いたCelebAデータセットでは、全パレートフロントの計算に単一目的学習の7%の訓練時間オーバーヘッドで十分である。
• 角罰則正則化が、パレートフロント全体にわたり均等に分布した解を効果的に維持しており、解のクラスタリングを防いでいる。
• このアプローチは深層ネットワークへも効率的にスケーリングでき、実世界のディープラーニング応用の実現可能性を示している。
• ハイパーネットの使用や、各目的ごとの再訓練の必要がなく、パラメータおよび計算オーバーヘッドを顕著に低減している。
• コードは公開されており、再現性が保たれ、スケーラブルなマルチオブジェクティブディープラーニング分野におけるさらなる研究を促進する。