[論文レビュー] Exact Pareto Optimal Search for Multi-Task Learning: Touring the Pareto Front.

Debabrata Mahapatra, Vaibhav Rajan|arXiv (Cornell University)|Aug 2, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 80被引用数 6

ひとこと要約

本論文は、ボックス制約および等式制約のもとで、マルチタスク学習（MTL）における正確なパレート最適（EPO）解を求めるスケーラブルなアルゴリズムを初めて提案し、勾配降下法と制御された上昇を組み合わせることでパレートフロントを効果的に走破する。この手法により、トレードオフの体系的探索が可能となり、ベンチマークMTLデータセットにおいて既存手法を上回る性能を発揮する。

ABSTRACT

Multi-Task Learning (MTL) is a well-established paradigm for training deep neural network models for multiple correlated tasks. Often the task objectives conflict, requiring trade-offs between them during model building. In such cases, MTL models can use gradient-based multi-objective optimization (MOO) to find one or more Pareto optimal solutions. A common requirement in MTL applications is to find an {\it Exact} Pareto optimal (EPO) solution, which satisfies user preferences with respect to task-specific objective functions. Further, to improve model generalization, various constraints on the weights may need to be enforced during training. Addressing these requirements is challenging because it requires a search direction that allows descent not only towards the Pareto front but also towards the input preference, within the constraints imposed and in a manner that scales to high-dimensional gradients. We design and theoretically analyze such search directions and develop the first scalable algorithm, with theoretical guarantees of convergence, to find an EPO solution, including when box and equality constraints are imposed. Our unique method combines multiple gradient descent with carefully controlled ascent to traverse the Pareto front in a principled manner, making it robust to initialization. This also facilitates systematic exploration of the Pareto front, that we utilize to approximate the Pareto front for multi-criteria decision-making. Empirical results show that our algorithm outperforms competing methods on benchmark MTL datasets and MOO problems.

研究の動機と目的

• タスクの目的関数が衝突するマルチタスク学習（MTL）において、ユーザーの好みを満たす正確なパレート最適（EPO）解を求める課題に対処すること。
• 複雑な制約のもとでも、パレートフロントへの降下とユーザー指定の好みへの整合性を同時に達成する探索方向を設計すること。
• 特にボックス制約や等式制約を強制する状況においても、高次元の勾配空間でのスケーラビリティと収束性を保証すること。
• マルチタスク学習応用における多基準意思決定を支援するため、パレートフロントの体系的探索を可能にすること。
• 初期化に依存しない強健性を維持しながら、EPO解への理論的収束保証を保つ手法を開発すること。

提案手法

• 本手法は、複数回の勾配降下ステップと、慎重に制御された上昇を組み合わせた、原理的かつ体系的なパレートフロント走破を可能にする新しい探索方向を導入する。
• 降下はパレートフロントへの到達を、上昇はユーザーの好みに従って誘導する制約付き最適化問題として定式化する。
• ボックス制約および等式制約を最適化プロセスに直接統合し、学習全体を通じて妥当な解を保証する。
• 理論的分析により、非凸な目的関数や高次元勾配空間においても、提案された探索ダイナミクスのもとでEPO解への収束が保証されることを示した。
• 好みパラメータを変化させることで、パレートフロントの体系的探索が可能となり、多基準意思決定を支援する。
• タスクの目的関数への降下と、望ましいトレードオフへの上昇をバランスさせるデュアル最適化フレームワークを用いることで、初期化に依存しない強健性を実現する。

実験結果

リサーチクエスチョン

• RQ1 一般の制約のもとで、スケーラブルかつ収束保証を持つアルゴリズムを設計し、マルチタスク学習における正確なパレート最適（EPO）解を求めるにはどうすればよいか？
• RQ2 制約付き最適化設定において、パレートフロントへの降下とユーザー指定の好みへの整合性を両立させる探索方向は何か？
• RQ3 高次元MTL問題において、初期化に依存しない強健性を維持しながら、理論的収束保証を保つにはどうすればよいか？
• RQ4 提案手法は、多基準意思決定を支援するために、パレートフロントをどのように体系的に探索できるか？
• RQ5 ボックス制約および等式制約の統合は、MTLにおけるEPO解の探索における収束性および性能にどのような影響を与えるか？

主な発見

• 提案手法は、ボックス制約および等式制約のもとで、深層MTLの文脈において初めて理論的収束をEPO解に保証した。
• 実験結果により、競合する多目的最適化手法と比較して、ベンチマークMTLデータセットで優れた性能を示した。
• 好みパラメータを変化させることで、パレートフロントの体系的探索が可能となり、意思決定に裏付けのある多基準意思決定を支援する。
• 降下と制御された上昇を統合した原理的な探索方向のおかげで、初期化に依存しない強健性を示した。
• 最適化プロセスに制約を統合しても、収束性やスケーラビリティに悪影響を及げず、高次元勾配空間でも安定している。
• 複数のMOO問題およびMTLベンチマークにおいて、解の品質と安定性の両面で、既存手法を上回った。