[논문 리뷰] Scalarization for Multi-Task and Multi-Domain Learning at Scale

Amélie Royer, Tijmen Blankevoort외 1명|arXiv (Cornell University)|2023. 10. 13.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 복잡한 다중 작업 최적화(MTO) 방법의 간단하면서도 효과적인 대안으로서 스칼라화—다양한 작업 손실의 가중 평균을 최소화하여 다중 작업 및 다중 도메인 모델을 훈련시키는 방법—를 조사한다. 다양한 아키텍처와 데이터셋을 대상으로 한 대규모 실험을 통해 최적의 스칼라화 가중치가 성능을 크게 향상시키며, 특히 불균형 설정에서 두드러진 성능 향상을 보임을 입증한다. 또한 대규모에서 효율적으로 이러한 가중치를 탐색하기 위해 인구 기반 훈련을 제안하여 최소한의 계산 비용으로 SOTA 성능을 달성한다.

ABSTRACT

Training a single model on multiple input domains and/or output tasks allows for compressing information from multiple sources into a unified backbone hence improves model efficiency. It also enables potential positive knowledge transfer across tasks/domains, leading to improved accuracy and data-efficient training. However, optimizing such networks is a challenge, in particular due to discrepancies between the different tasks or domains: Despite several hypotheses and solutions proposed over the years, recent work has shown that uniform scalarization training, i.e., simply minimizing the average of the task losses, yields on-par performance with more costly SotA optimization methods. This raises the issue of how well we understand the training dynamics of multi-task and multi-domain networks. In this work, we first devise a large-scale unified analysis of multi-domain and multi-task learning to better understand the dynamics of scalarization across varied task/domain combinations and model sizes. Following these insights, we then propose to leverage population-based training to efficiently search for the optimal scalarization weights when dealing with a large number of tasks or domains.

연구 동기 및 목표

• 다양한 모델 용량과 데이터 분포에서 다중 작업 및 다중 도메인 학습에서 스칼라화의 훈련 동역학을 이해하기 위해.
• 불균형한 작업/도메인 설정에서 스칼라화 가중치가 기울기 갈등과 모델 성능에 미치는 영향을 조사하기 위해.
• 많은 수의 작업 또는 도메인에 대한 하이퍼파rameter 검색의 확장성 문제를 해결하기 위해.
• 간단한 스칼라화가 계산 비용을 줄이며 복잡한 MTO 방법과 동등하거나 이를 초월하는 성능을 낼 수 있는지 평가하기 위해.

제안 방법

• 다양한 비전 벤치마크, 모델 아키텍처( ViT-S/4부터 전체 너비의 ViT까지) 및 작업/도메인 조합에서 스칼라화에 대한 대규모 실험적 분석을 수행한다.
• 고차원 하이퍼파rameter 공간을 효율적으로 탐색하기 위해 인구 기반 훈련(PBT)을 사용해 스칼라화 가중치를 체계적으로 변화시킨다.
• 손실 기반(예: 불확실성, IMTL-L) 및 기울기 기반(예: CAGrad, PCGrad) 접근 방식을 포함한 최신 MTO 방법과 스칼라화를 비교한다.
• 기울기 갈등이 층과 학습률에 따라 어떻게 변화하는지 분석하여 이들이 작업 간 간섭에 어떤 역할을 하는지 평가한다.
• 많은 수의 작업이 있는 설정에서 최적의 스칼라화 가중치를 PBT를 통해 탐색하여 검색 비용을 줄이면서도 성능를 유지한다.
• 통계적 안정성을 확보하기 위해 여러 지표와 표준편차를 기반으로 결과를 보고한다.

Figure 1: Table (a) summarizes the experimental setups used throughout the paper. Figure (b) reports profiling results for popular multi-task optimization (MTO) methods in a small-scale (ResNet18, batch size 16) and large-scale (ResNet50, size 128) setting, for 224px inputs: In practice, we find tha

실험 결과

연구 질문

• RQ1 모델 용량이 스칼라화를 통한 다중 작업 및 다중 도메인 학습의 성능 향상에 어떻게 영향을 미치는가?
• RQ2 최적의 스칼라화 가중치가 불균형한 다중 작업 및 다중 도메인 설정에서 성능 향상에 얼마나 기여하는가?
• RQ3 기울기 갈등은 층과 학습률에 따라 어떻게 변화하며, 이는 작업 간 간섭과 상관관계가 있는가?
• RQ4 인구 기반 훈련이 대규모 다중 작업 및 다중 도메인 학습에서 최적의 스칼라화 가중치를 효율적으로 식별할 수 있는가?
• RQ5 균일한 스칼라화(등가중치)는 복잡한 MTO 방법과 비교해 유사한 성능를 보이며, 아니면 가중치 조정이 필수적인가?

주요 결과

• 더 큰 모델 용량은 다중 작업 및 다중 도메인 학습의 이점을 극대화하며, 모델 크기가 커질수록 성능 향상이 크게 증가한다.
• 불균형 설정에서 고성능의 다중 작업 및 다중 도메인 학습을 위해서는 최적의 스칼라화 가중치가 필수적이지만, 동일한 아키텍처 패밀리 내에서는 모델 크기와 관계없이 가중치의 상대적 순위는 일관되게 유지된다.
• 작업 또는 도메인 간 기울기 갈등은 훈련 중 자연스럽고 지속적인 현상이며, 이는 모델 용량이나 스칼라화 가중치 선택에 크게 영향을 받지 않는다.
• 인구 기반 훈련(PBT)은 최적의 스칼라화 가중치를 효율적이고 효과적으로 탐색할 수 있게 하여, 복잡한 MTO 방법과 동등한 성능을 달성하면서도 계산 비용을 줄인다.
• 학습된 가중치를 사용한 스칼라화는 균일한 스칼라화를 능가하며, 평가된 모든 벤치마크와 모델 크기에서 최신 MTO 방법(예: CAGrad, PCGrad)과 동등하거나 이를 초월한다.
• 스칼라화의 성능는 가중치 조정에 매우 민감하며, 특히 불균형 설정에서는 가중치의 미세한 변화만으로도 성능에 큰 영향을 미친다.

Figure 2: Performance of scalarization for MDL/MTL relative to SD under different model capacities; Each column corresponds to a different task/domain pair ( $T=2$ ). The first row of each plot contains a heatmap of the best performing scalarization weights $p^{\ast}$ wrt. to the average test accura