[論文レビュー] Efficient Continuous Pareto Exploration in Multi-Task Learning

Pingchuan Ma, Tao Du+1 more|arXiv (Cornell University)|Jun 29, 2020

Educational Technology and Assessment被引用数 30

ひとこと要約

効率的な手法を導入し、深層マルチタスク学習において第二次の情報、Hessian-free アプローチと Krylov solvers を用いてタスク間のトレードオフを探索し、局所的に連続した Pareto 集合とフロントを再構成します。

ABSTRACT

Tasks in multi-task learning often correlate, conflict, or even compete with each other. As a result, a single solution that is optimal for all tasks rarely exists. Recent papers introduced the concept of Pareto optimality to this field and directly cast multi-task learning as multi-objective optimization problems, but solutions returned by existing methods are typically finite, sparse, and discrete. We present a novel, efficient method that generates locally continuous Pareto sets and Pareto fronts, which opens up the possibility of continuous analysis of Pareto optimal solutions in machine learning problems. We scale up theoretical results in multi-objective optimization to modern machine learning problems by proposing a sample-based sparse linear system, for which standard Hessian-free solvers in machine learning can be applied. We compare our method to the state-of-the-art algorithms and demonstrate its usage of analyzing local Pareto sets on various multi-task classification and regression problems. The experimental results confirm that our algorithm reveals the primary directions in local Pareto sets for trade-off balancing, finds more solutions with different trade-offs efficiently, and scales well to tasks with millions of parameters.

研究の動機と目的

• マルチタスク学習において単一解最適化を超えるトレードオフ探索の必要性を動機づける。
• 深層 MTL における局所 Pareto 集合を回復・拡張する2段階アルゴリズムを提案する。
• 大規模ニューラルネットワークにも適用可能な、スケーラブルで密度の高い Pareto フロント解析を実現する。
• 局所 Pareto 集合の連続的なパラメータ化を可能にし、直感的なトラバーサルを促進する。

提案手法

• 局所接平面展開を通じて、勾配と Hessian（1次・2次情報）を用いて Pareto 最適性と局所 Pareto 集合を定式化する。
• 勾配の組み合わせの重み α を得る小さな凸問題を解くことで Pareto stationary point を計算する。
• 矩陣フリーの Krylov 法（MINRES）を用いた大規模な疎 Hessian ベースの線形系を解くことで展開方向を推定し、全 Hessian 計算を回避する。
• 安定性のための正規化を行いながら、x* + s v の形で接線方向に沿って Pareto stationary point から候補点を生成する。
• 局所 Pareto 点をその探索方向と共に凸結合して連続的な局所 Pareto 集合を構成し、局所的な線形部分空間を形成する。
• 衝突を検知して統合することで、局所的フロントを連結し、より大きな連続 Pareto フロントを Stitch する。

実験結果

リサーチクエスチョン

• RQ1 提案された接線ベースの展開は、深層マルチタスク学習における局所 Pareto 集合を忠実に近似できるか。
• RQ2 方法は同様の計算予算内で、離散解法のベースラインよりも密度が高く多様な Pareto フロントを生成するか。
• RQ3 数百〜百万パラメータ級のネットワークにもスケーラブルで、効率性を維持できるか。
• RQ4 局所 Pareto 集合を直感的なトラバーサルのための低次元空間に再パラメータ化できるか。

主な発見

• 従来の離散解法と比較して、全体の MTL トレーニングに対するオーバーヘッドは控えめで、はるかに密な Pareto フロントを生成する。
• MINRES と Hessian-vector product を用いて探索方向を効率的に得ることで、ネットワークサイズに対して線形スケール（O(kn)）を達成する。
• 複数のデータセットやアーキテクチャにまたがる多様なトレードオフ解の発見においてベースラインを上回る。
• 連続的な Pareto 集合は低次元空間での再パラメータ化が可能で、直感的な操作とトラバーサルを実現することを示す。
• 中規模データセット（例：MultiMNIST）から大規模ネットワーク（例：百万単位のパラメータを持つ UTKFace）へとスケールすることを実証する。