[논문 리뷰] Measuring and Harnessing Transference in Multi-Task Learning

Chris Fifty, Ehsan Amid외 4명|arXiv (Cornell University)|2020. 10. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 7

한 줄 요약

이 논문은 다중 태스크 학습에서 태스크 간 정보 전이를 측정하기 위해 새로운 파rameter-free 측정법인 '전이성(Transference)'을 도입한다. 미니배치 수준에서의 기울기 상호작용을 분석함으로써, 거대 수준의 태스크 그룹 선택을 위한 방법과 미세 수준의 기울기 조정을 위한 방법을 제안한다. 이는 다섯 개인 감독형 다중 태스크 학습 벤치마크와 한 개인 다중 태스크 강화 학습 작업에서 성능을 향상시키며, 기준 모델 대비 최대 0.94%의 정확도 향상을 기록한다.

ABSTRACT

Multi-task learning can leverage information learned by one task to benefit the training of other tasks. Despite this capacity, naive formulations often degrade performance and in particular, identifying the tasks that would benefit from co-training remains a challenging design question. In this paper, we analyze the dynamics of information transfer, or transference, across tasks throughout training. Specifically, we develop a similarity measure that can quantify transference among tasks and use this quantity to both better understand the optimization dynamics of multi-task learning as well as improve overall learning performance. In the latter case, we propose two methods to leverage our transference metric. The first operates at a macro-level by selecting which tasks should train together while the second functions at a micro-level by determining how to combine task gradients at each training step. We find these methods can lead to significant improvement over prior work on three supervised multi-task learning benchmarks and one multi-task reinforcement learning paradigm.

연구 동기 및 목표

• 직접 공훈을 시도할 경우 성능이 떨어지는 다중 태스크 학습에서 유익한 태스크 그룹을 식별하는 문제를 해결하기 위해.
• 학습 중 태스크 간 정보 전이(전이성)를 측정할 수 있는 정량적이고 파rameter-free 측정법을 개발하기 위해.
• 전이성을 활용하여 거대 수준의 태스크 선택과 미세 수준의 기울기 조정을 통해 다중 태스크 학습의 효율성과 성능을 향상시키기 위해.
• 상호 태스크 유사도에 기반해 각 학습 단계에서 최적의 기울기를 동적으로 선택함으로써 부정적 간섭을 줄이기 위한 방법을 제공하기 위해.
• 전이성 기반 방법이 시각, 자연어 처리, 강화 학습을 포함한 다양한 다중 태스크 학습 환경에서 효과적인지 입증하기 위해.

제안 방법

• 태스크 기울기 간 내적을 기반으로 한 전이성 측정법을 제안하여, 학습 중 한 태스크의 손실 기울기가 다른 태스크의 손실 기울기에 얼마나 영향을 미치는지를 정량화한다.
• 이 측정법을 활용해 높은 전이성을 가지는 태스크 쌍을 선택하여 거대 수준의 태스크 그룹화를 유도한다.
• 각 미니배치에서 전이성 값을 기반으로 표준 MTL 기울기와 PCGrad 방식의 기울기 중에서 동적으로 선택하는 미세 수준의 방법인 IT-MTL을 도입한다.
• 정확한 측정법에 비해 계산 비용을 줄이기 위해 전이성의 일阶 근사(approximation)를 사용하며, 성능은 정확한 측정법과 거의 동일하게 유지한다.
• 전이성을 불확실성 가중치(UW)와 PCGrad에 통합하여 다목적 학습에서 성능을 추가로 향상시킨다.
• MultiMNIST, NYUv2, MovieLens 및 다중 태스크 RL 설정을 포함한 다양한 벤치마크에 이 방법을 적용하여 일관된 성능 향상을 기록한다.

실험 결과

연구 질문

• RQ1 파rameter-free이며, 미니배치 단위로 측정되는 정보 전이(전이성) 측정법이 다중 태스크 학습에서 태스크 간 기울기 상호작용을 효과적으로 정량화할 수 있는가?
• RQ2 전이성이 학습 성능와 관련이 있으며, 이를 바탕으로 이로운 태스크 그룹을 식별할 수 있는가?
• RQ3 전이성 기반 동적 기울기 선택이 고정된 집계 방법에 비해 다중 태스크 학습의 효율성과 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법은 시각, 자연어 처리, 강화 학습를 포함한 다양한 다중 태스크 학습 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ5 전이성 기반 방법은 PCGrad, MGDA-UB 및 불확실성 가중치와 같은 기존 기준 모델을 초월할 수 있는가, 정확도와 강인성 측면에서 모두?

주요 결과

• 불확실성 가중치를 적용한 IT-MTL(UW-IT-PCGrad)은 MultiMNIST 왼쪽 이미지 태스크에서 테스트 정확도 90.94%를 기록하여 최고의 기준 모델(UW-PCGrad)보다 0.17% 높은 성능을 보였다.
• MultiMNIST 오른쪽 이미지 태스크에서는 UW-IT-PCGrad가 88.61%의 정확도를 기록하여 UW-PCGrad 대비 0.25% 향상된 성능을 보였다.
• NYUv2에서는 PCGrad 대비 깊이 및 표면 법선 예측 성능을 향상시켰으며, 세그멘테이션 정확도는 약간 감소시켜 효과적인 트레이드오프 관리가 이루어졌음을 시사했다.
• MovieLens에서는 UW-IT-PCGrad‡가 시청 예측 정확도 82.15%와 평점 예측 정확도 73.97%를 기록하여 UW-PCGrad(81.93% 및 73.93%)보다 모두 향상된 성능을 보였다.
• 전이성의 일阶 근사(표기 ‡)는 정확한 측정법과 거의 동일한 성능를 기록하여 효율적인 추론에 활용될 수 있음을 검증했다.
• 전이성 측정법은 이로운 태스크 그룹을 성공적으로 식별하고 부정적 기울기 간섭을 감소시켜 다양한 MTL 환경에서 일관된 성능 향상을 이끌어냈다.