[논문 리뷰] In Defense of the Unitary Scalarization for Deep Multi-Task Learning

Vitaly Kurin, Alessandro De Palma외 3명|arXiv (Cornell University)|2022. 01. 11.

Sparse and Compressive Sensing Techniques인용 수 20

한 줄 요약

단위 스칼라라이제이션(과제 손실의 합을 최소화)이 표준 정규화 및 안정화 기법과 함께 사용될 때 감독 학습과 강화 학습 전반에서 전문 다중 작업 최적화기(SMTOs)와 경쟁력이 있거나 우수하다고 논의한다. 또한 SMTOs를 정규화기로서 분석하고 통합된 실험적·이론적 관점을 제공한다.

ABSTRACT

Recent multi-task learning research argues against unitary scalarization, where training simply minimizes the sum of the task losses. Several ad-hoc multi-task optimization algorithms have instead been proposed, inspired by various hypotheses about what makes multi-task settings difficult. The majority of these optimizers require per-task gradients, and introduce significant memory, runtime, and implementation overhead. We show that unitary scalarization, coupled with standard regularization and stabilization techniques from single-task learning, matches or improves upon the performance of complex multi-task optimizers in popular supervised and reinforcement learning settings. We then present an analysis suggesting that many specialized multi-task optimizers can be partly interpreted as forms of regularization, potentially explaining our surprising results. We believe our results call for a critical reevaluation of recent research in the area.

연구 동기 및 목표

• 단위 스칼라라이제이션이 인기 있는 MTL 벤치마크에서 복잡한 SMTOs에 일치하거나 이를 능가하는지 평가한다.
• 단위 스칼라라이제이션 성능 향상에서 정규화 및 안정화 기법의 역할을 조사한다.
• SMTOs를 정규화기로 분석하고 수렴 및 일반화 동작을 이해한다.
• MTL 최적화기를 평가하기 위한 통합된 실험 파이프라인과 재현 가능한 코드를 제공한다.

제안 방법

• MTL을 태스크별 손실의 합의 최소화(단위 스칼라라이제이션)로 정식화하고, 태스크별 기울기를 사용하는 SMTOs와 대조한다.
• 대표적인 SMTOs(MGDA, IMTL, PCGrad, GradDrop, RLW)를 검토하고 구현하며 계산 오버헤드를 분석한다.
• 감독 학습 벤치마크(Multi-MNIST, CelebA, Cityscapes)와 강화 학습 벤치마크(Meta-World with SAC)에서 평가한다.
• 학습 안정을 위해 표준 단일 태스크 정규화(드롭아웃, L2, 얼리 스토핑) 및 RL에서 보상 정규화를 도입한다.
• 정규화 렌즈를 통해 SMTOs를 분석하고 정규화된 단위 스칼라라이제이션과의 비교를 위한 어브레이션(ablation)을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 MTL 설정과 데이터셋에서 단위 스칼라라이제이션이 SMTOs와 대등하게 작동하는가?
• RQ2 표준 정규화 및 안정화 기법이 단위 스칼라라이제이션과 SMTOs 간의 격차를 메울 수 있는가?
• RQ3 SMTOs가 최적화를 엄밀히 개선하기보다는 일반화에 영향을 주는 정규화기로 작용하는가?
• RQ4 딥 MTL에서 단위 스칼라라이제이션과 SMTOs 간의 계산적 트레이드오프(시간, 메모리)는 무엇인가?
• RQ5 공유 표현을 가진 강화 학습 맥락에서 SMTOs의 비교는 어떠한가?

주요 결과

• 정규화 및 안정화와 함께 사용될 때 감독 학습 벤치마크에서 단위 스칼라라이제이션이 종종 SMTOs에 일치하거나 이를 능가한다.
• SMTOs는 훈련 시간과 메모리 오버헤드가 더 크게 나타날 수 있으며, 단위 스칼라라이제이션에 비해 일관된 우위를 보이지 않는다.
• 정규화(드롭아웃, L2)와 얼리 스토핑은 과적합을 줄이고 단위 스칼라라이제이션의 성능 차이를 메울 수 있다.
• 분석은 SMTOs가 과적합을 늦추고 수렴 특성에 영향을 주어 정규화기로 작용할 수 있음을 시사한다.
• RL 설정에서 단위 스칼라라이제이션은 PCGrad 같은 SMTO에 비해 계산 자원이 현저히 낮으면서도 경쟁력 있는 성능을 달성한다.