[論文レビュー] Multi-Task Learning as a Bargaining Game

Aviv Navon, Aviv Shamsian+5 more|arXiv (Cornell University)|Feb 2, 2022

Domain Adaptation and Few-Shot Learning被引用数 25

ひとこと要約

本論文は多タスク学習における勾配の集約を交渉ゲームとして位置づけ、Nash-MTLを導出する。これはNash Bargaining Solutionに基づく勾配更新則で、収束保証と複数のベンチマークでの最先端結果を提供する。

ABSTRACT

In Multi-task learning (MTL), a joint model is trained to simultaneously make predictions for several tasks. Joint training reduces computation costs and improves data efficiency; however, since the gradients of these different tasks may conflict, training a joint model for MTL often yields lower performance than its corresponding single-task counterparts. A common method for alleviating this issue is to combine per-task gradients into a joint update direction using a particular heuristic. In this paper, we propose viewing the gradients combination step as a bargaining game, where tasks negotiate to reach an agreement on a joint direction of parameter update. Under certain assumptions, the bargaining problem has a unique solution, known as the Nash Bargaining Solution, which we propose to use as a principled approach to multi-task learning. We describe a new MTL optimization procedure, Nash-MTL, and derive theoretical guarantees for its convergence. Empirically, we show that Nash-MTL achieves state-of-the-art results on multiple MTL benchmarks in various domains.

研究の動機と目的

• タスク勾配が衝突する、あるいは尺度が異なる場合の多タスク学習における最適化の改善を動機づける。
• Nash Bargaining Solutionに基づく原理的で公理的な勾配集約法を導入する。
• 凸および非凸設定における提案手法 Nash-MTL の収束保証を提供する。
• 視覚、化学、強化学習にまたがる多様なMTLベンチマークで最先端の性能を示す。

提案手法

• K個のタスク勾配 g_i と合意集合 B_epsilon を用いて勾配集約を交渉問題として定式化する。
• Nash Bargaining Solution が更新方向 Delta_theta を導き、これはタスク勾配の線形結合の張り範囲内にある：Delta_theta = sum_i alpha_i g_i。
• Gはタスク勾配の行列、alpha > 0 は交渉重みとして、式 G^T G alpha = 1/alpha を導出する。
• 連続する凸代替を用いた効率的近似手法と CCP に類似した反復スキームを用いて G^T G alpha = 1/alpha を解く手順を提案する。
• 穏当な仮定の下で Pareto 停止点への収束を証明し、タスクが凸の場合には凸性に基づく強化を提供する。
• 計算コストを削減しつつ性能を維持するために、alpha の更新頻度を低くするなど実用的な高速化を提案する。

実験結果

リサーチクエスチョン

• RQ1 交渉理論に基づく枠組みは、多タスク学習において原理的で尺度不変な勾配結合を生み出せるか。
• RQ2 Nash-MTL は凸・非凸のいずれの設定においても Pareto stationary points に収束するか。
• RQ3 Nash-MTL は既存の勾配集約法と比較して、さまざまな MTL ベンチマークでどのように性能を発揮するか。
• RQ4 多くのタスクに Nash-MTL を適用する際の計算コストの実用的なトレードオフは何か。

主な発見

手法	MR ↓	Delta_m % ↓
LS	6.8	177.6±3.4
SI	4.0	77.8±9.2
RLW	8.2	203.8±3.4
DWA	6.4	175.3±6.3
MGDA	5.9	120.5±2.0
PCGrad	5.0	125.7±10.3
CAGrad	5.7	112.8±4.0
IMTL-G	4.7	77.2±9.3
Nash-MTL	2.5	62.0±1.4

• QM9 では、MR = 2.5 および Delta_m = 62.0±1.4 で最良の性能を達成し、すべてのベースラインを上回った。
• NYUv2 および Cityscapes ベンチマークで最良の平均順位（MR）を達成し、タスク間のバランスの強さを示している。
• NYUv2 で Delta_m が最良、Cityscapes では2番目に良く、タスク間での尺度不変性の改善が堅牢であることを示している。
• マルチタスク強化学習（MT10）では、評価対象の手法の中でシード間の平均成功率が最も高い。
• 提案手法は各タスクの損失スケールに対して尺度不変であり、単一の大きな勾配による支配を緩和する。