[논문 리뷰] Multi-Task Learning as a Bargaining Game

Aviv Navon, Aviv Shamsian외 5명|arXiv (Cornell University)|2022. 02. 02.

Domain Adaptation and Few-Shot Learning인용 수 25

한 줄 요약

이 논문은 다중 작업 학습에서 그래디언트 집계를 협상 게임으로 모델링하고 Nash-MTL을 도출한다. Nash Bargaining Solution에 기반한 그래디언트 업데이트 규칙으로 수렴 보장 및 다수 벤치마크에서의 최첨단 결과를 가진다.

ABSTRACT

In Multi-task learning (MTL), a joint model is trained to simultaneously make predictions for several tasks. Joint training reduces computation costs and improves data efficiency; however, since the gradients of these different tasks may conflict, training a joint model for MTL often yields lower performance than its corresponding single-task counterparts. A common method for alleviating this issue is to combine per-task gradients into a joint update direction using a particular heuristic. In this paper, we propose viewing the gradients combination step as a bargaining game, where tasks negotiate to reach an agreement on a joint direction of parameter update. Under certain assumptions, the bargaining problem has a unique solution, known as the Nash Bargaining Solution, which we propose to use as a principled approach to multi-task learning. We describe a new MTL optimization procedure, Nash-MTL, and derive theoretical guarantees for its convergence. Empirically, we show that Nash-MTL achieves state-of-the-art results on multiple MTL benchmarks in various domains.

연구 동기 및 목표

• 작업 간 그래디언트가 충돌하거나 크기가 다른 경우가 있는 다중 작업 학습에서 최적화를 개선하려는 동기를 제시한다.
• Nash Bargaining Solution에 기반한 원리적이고 공리적(axiomatic)인 그래디언트 집계 방법을 도입한다.
• 볼록/비볼록 설정에서 제안된 Nash-MTL 알고리즘에 대한 수렴 보장을 제공한다.
• 비전, 화학 및 강화 학습 분야의 다양한 MTL 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• K개의 작업 그래디언트 g_i와 합의 집합 B_epsilon를 갖는 협상 문제로 그래디언트 집계를 형식화한다.
• Nash Bargaining Solution이 작업 그래디언트의 선형 공간(span) 안에 속하는 업데이트 방향 Delta_theta를 유도한다: Delta_theta = sum_i alpha_i g_i.
• G가 작업 그래디언트의 행렬이고 alpha > 0가 협상 가중치일 때, 핵심 방정식 G^T G alpha = 1/alpha를 도출한다.
• 일련의 볼록 대리 문제와 CCP 유사 반복 스킴을 사용하여 G^T G alpha = 1/alpha를 해결하기 위한 효율적인 근사 절차를 제안한다.
• 완만한 가정 아래 Pareto 정지점으로의 수렴을 증명하고 작업이 볼록할 때 볼록성 기반 강화도 제공한다.
• 성능을 유지하면서 계산 비용을 줄이기 위해 알파를 덜 자주 업데이트하는 등 실용적인 속도 향상을 제안한다.

실험 결과

연구 질문

• RQ1 협상 이론적 프레임워크가 다중 작업 학습에 대해 원칙적이고 스케일 불변인 그래디언트 결합을 제공할 수 있는가?
• RQ2 Nash-MTL이 볼록 및 비볼록 설정 모두에서 Pareto 정지점으로 수렴하는가?
• RQ3 기존 그래디언트 집계 방법과 비교하여 Nash-MTL이 다양한 MTL 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ4 여러 작업에 Nash-MTL을 적용할 때 계산 비용의 실용적 트레이드오프는 무엇인가?

주요 결과

방법	MR ↓	Delta_m % ↓
LS	6.8	177.6±3.4
SI	4.0	77.8±9.2
RLW	8.2	203.8±3.4
DWA	6.4	175.3±6.3
MGDA	5.9	120.5±2.0
PCGrad	5.0	125.7±10.3
CAGrad	5.7	112.8±4.0
IMTL-G	4.7	77.2±9.3
Nash-MTL	2.5	62.0±1.4

• QM9에서 Nash-MTL은 MR = 2.5 및 Delta_m = 62.0±1.4로 최상의 성능을 달성하여 모든 베이스라인을 능가한다.
• NYUv2 및 Cityscapes 벤치마크에서 최상의 평균 순위(MR)를 달성하여 작업 간 균형이 강하함을 나타낸다.
• NYUv2에서 가장 높은 Delta_m를 달성하고 Cityscapes에서는 두 번째로 좋으며, 작업 간 강건한 스케일 불변 개선을 보여준다.
• 다중 작업 강화 학습(MT10)에서 Nash-MTL은 평가된 방법 중 시드별 평균 성공이 가장 높다.
• 제안된 방법은 작업별 손실 규모에 대해 스케일 불변이며 단일 큰 그래디언트의 우위를 완화한다.