[논문 리뷰] Revisiting Scalarization in Multi-Task Learning: A Theoretical Perspective

Yuzheng Hu, Ruicheng Xian외 4명|arXiv (Cornell University)|2023. 08. 27.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 다중 작업 학습에서 선형 스칼라화의 이론적 분석을 제공하며, 타당 영역 내의 다중 표면 구조로 인해 선형 스칼라화가 균형 잡힌 트레이드오프를 포함해 파레토 최적 해를 완전히 탐색할 수 없다는 점을 드러낸다. 저자들은 완전한 탐색을 위한 필요 및 충분 조건을 수립하고, 전문화된 다중 작업 최적화기(SMTO)가 스칼라화로는 도달할 수 없는 해를 찾을 수 있음을 보여주며, 실제 데이터를 활용한 실험으로 이를 검증한다.

ABSTRACT

Linear scalarization, i.e., combining all loss functions by a weighted sum, has been the default choice in the literature of multi-task learning (MTL) since its inception. In recent years, there is a surge of interest in developing Specialized Multi-Task Optimizers (SMTOs) that treat MTL as a multi-objective optimization problem. However, it remains open whether there is a fundamental advantage of SMTOs over scalarization. In fact, heated debates exist in the community comparing these two types of algorithms, mostly from an empirical perspective. To approach the above question, in this paper, we revisit scalarization from a theoretical perspective. We focus on linear MTL models and study whether scalarization is capable of fully exploring the Pareto front. Our findings reveal that, in contrast to recent works that claimed empirical advantages of scalarization, scalarization is inherently incapable of full exploration, especially for those Pareto optimal solutions that strike the balanced trade-offs between multiple tasks. More concretely, when the model is under-parametrized, we reveal a multi-surface structure of the feasible region and identify necessary and sufficient conditions for full exploration. This leads to the conclusion that scalarization is in general incapable of tracing out the Pareto front. Our theoretical results partially answer the open questions in Xin et al. (2021), and provide a more intuitive explanation on why scalarization fails beyond non-convexity. We additionally perform experiments on a real-world dataset using both scalarization and state-of-the-art SMTOs. The experimental results not only corroborate our theoretical findings, but also unveil the potential of SMTOs in finding balanced solutions, which cannot be achieved by scalarization.

연구 동기 및 목표

• 선형 스칼라화가 다중 작업 학습에서 이론적으로 파레토 최적 해를 완전히 탐색할 수 있는지 조사한다.
• 모순되는 작업 간의 균형 잡힌 트레이드오프를 포괄하는 데 있어 스칼라화의 근본적 한계를 규명한다.
• 비볼록 설정에서 스칼라화가 파레토 최적 해 전체를 탐색할 수 있도록 하는 필요 및 충분 조건을 제공한다.
• 스칼라화와 전문화된 다중 작업 최적화기(SMTO)의 이론적 및 실증적 능력을 비교한다.
• 스칼라화의 내재적 한계를 부분적으로 보완하기 위한 랜덤화 기반 해결책을 제안하고 검증한다.

제안 방법

• 선형 다중 작업 모델의 타당 영역에 대한 이론적 분석을 통해 스칼라화를 제한하는 다중 표면 구조를 규명한다.
• 모든 파레토 최적 해에 도달하기 위한 스칼라화의 필요 및 충분 조건을 유도하며, 이는 기울기 불일치와 작업별 손실 기하학에 기반한다.
• 특이값 분해(SVD)를 사용해 학습 없이도 스칼라화 목표의 최적 해를 계산함으로써 전체 가중치 공간을 효율적으로 평가할 수 있도록 한다.
• SARCOS 로봇 제어 데이터셋에서 최신 기술인 MGDA 및 MGDA-UB와 같은 SMTO를 구현하고 비교한다.
• 랜덤화 스칼라화 전략: 독립적으로 최적화된 두 모델의 선형 조합을 랜덤 가중치로 조합하여 도달 가능한 영역을 확장한다.
• 100,000개의 샘플링된 가중치 벡터와 300개의 랜덤 초기화를 사용한 실증 평가를 통해 해의 커버리지와 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 선형 모델에 대해 다중 작업 학습에서 선형 스칼라화가 파레토 최적 해를 완전히 탐색할 수 있는가?
• RQ2 스칼라화가 어떤 파레토 최적 해에 도달할 수 있는가에 대한 필요 및 충분 조건은 무엇인가?
• RQ3 최적의 초모수를 사용하더라도 스칼라화가 왜 균형 잡힌 트레이드오프 해를 찾지 못하는가?
• RQ4 MGDA 및 MGDA-UB와 같은 SMTO는 스칼라화로는 도달할 수 없는 해를 달성하는가?
• RQ5 스칼라화 모델의 랜덤화는 완전한 탐색 능력을 복원할 수 있는가?

주요 결과

• 타당 영역 내의 다중 표면 구조로 인해 스칼라화는 본질적으로 파레토 최적 해 전체를 탐색할 수 없으며, 특히 기울기 불일치가 존재할 경우 더욱 심각하다.
• 일반적으로 완전한 탐색을 위한 필요 및 충분 조건이 충족되지 않으며, 선형 모델이더라도 균형 잡힌 트레이드오프 해에 대해서는 특히 그렇다.
• SARCOS 데이터셋에 대한 실험 결과, MGDA 및 MGDA-UB는 스칼라화가 도달하지 못하는 파레토 최적 해의 내부 영역에 항상 해를 찾는다.
• 두 개의 독립적으로 최적화된 모델을 랜덤 가중치로 조합하는 랜덤화 선형 스칼라화 전략은 파레토 최적 해의 갭을 성공적으로 메워내며 이론적 분석을 검증한다.
• SMTO는 스칼라화보다 균형 잡힌 해를 찾는 데 뛰어나며, 이는 초모수 조정을 넘어서는 본질적 우월성을 보여준다.
• 스칼라화의 실패 원인은 비볼록성 때문만은 아니며, 타당 영역 기하학적 구조적 한계에서 기인한다.