[논문 리뷰] Rotograd: Dynamic Gradient Homogenization for Multitask Learning

Adrián Javaloy, Isabel Valera|arXiv (Cornell University)|2021. 05. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 7

한 줄 요약

Rotograd는 다중 작업 학습을 위한 동적 그래디언트 동질화 방법을 제안하며, GradNorm을 확장하여 작업별 회전 행렬을 사용해 작업 그래디언트의 크기와 방향을 모두 정렬한다. 방향 정렬을 통한 그래디언트 갈등 완화로 인해 훈련의 안정성과 수렴성이 향상되어, 이전 방법들에 비해 다양한 실세계 데이터셋과 아키텍처에서 뛰어난 성능을 달성한다.

ABSTRACT

GradNorm (Chen et al., 2018) is a broadly used gradient-based approach for training multitask networks, where different tasks share, and thus compete during learning, for the network parameters. GradNorm eases the fitting of all individual tasks by dynamically equalizing the contribution of each task to the overall gradient magnitude. However, it does not prevent the individual tasks’ gradients from conflicting, i.e., pointing towards opposite directions, and thus resulting in a poor multitask performance. In this work we propose Rotograd, an extension to GradNorm that addresses this problem by dynamically homogenizing not only the gradient magnitudes but also their directions across tasks. For this purpose,Rotograd adds a layer of task-specific rotation matrices that aligns all the task gradients. Importantly, we then analyze Rotograd (and its predecessor) through the lens of game theory, providing theoretical guarantees on the algorithm stability and convergence. Finally, our experiments on several real-world datasets and network architectures show that Rotograd outperforms previous approaches for multitask learning.

연구 동기 및 목표

• 다중 작업 학습 중 작업 간 충돌하는 그래디언트 방향을 다루지 못하는 GradNorm의 한계를 해결하기 위해.
• 방향 정렬을 통한 그래디언트 간섭 감소로 다중 작업 학습 성능을 향상시키기 위해.
• 게임 이론적 분석을 통해 알고리즘의 안정성과 수렴성에 대한 이론적 보장을 제공하기 위해.
• 다양한 데이터셋과 네트워크 아키텍처에 일반화되는 확장 가능하고 효과적인 방법을 개발하기 위해.

제안 방법

• 다양한 작업의 그래디언트 방향을 동적으로 정렬하기 위해 작업별 고유의 회전 행렬을 도입한다.
• 작업 그래디언트에 회전을 적용한 후 통합 업데이트 방향으로 조합하기 때문에 손실 최적화 과정을 수정한다.
• 크기와 방향을 균형 잡는 동적 가중치 기반 방식을 사용하며, GradNorm와 유사하지만 방향 정렬을 추가로 포함한다.
• 훈련 과정의 수렴성과 안정성을 분석하고 보장하기 위해 게임 이론적 프레임워크를 활용한다.
• 백프로파게이션 동안 엔드 투 엔드로 회전 행렬을 최적화하여 적응적인 그래디언트 동질화를 가능하게 한다.
• 학습 가능한 구성 요소로 회전 레이어를 통합함으로써 표준 딥러닝 프레임워크와의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 크기 균형 조정 외에 동적 그래디언트 방향 정렬이 다중 작업 학습 성능 향상에 기여할 수 있는가?
• RQ2 반대되는 그래디언트 방향으로 인한 그래디언트 갈등은 다중 작업 학습의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 크기와 방향을 모두 고려하는 그래디언트 동질화 방법에 대해 이론적 보장은 무엇을 제공할 수 있는가?
• RQ4 제안된 게임 이론적 수식은 다중 작업 설정에서 안정적이고 수렴 가능한 훈련 동역학을 보장하는가?
• RQ5 다양한 벤치마크에서 Rotograd는 GradNorm 및 기타 다중 작업 학습 기준선과 비교해 실제로 어떻게 성능을 냈는가?

주요 결과

• Rotograd는 다양한 실세계 데이터셋에서 GradNorm 및 기타 다중 작업 학습 기준선을 능가하며, 일반화 능력과 훈련 안정성이 향상됨을 입증했다.
• 그래디언트 방향 동질화를 포함한 결과는 크기만 균형 잡는 것보다 더 빠른 수렴과 낮은 훈련 손실을 보였다.
• 이론적 분석을 통해 Rotograd는 게임 이론적 프레임워크 하에서 안정적인 훈련 동역학을 유지하고 수렴 보장을 확보함을 확인했다.
• 실험 결과, 특히 목적 함수가 상당히 다를 수 있는 상황에서 그래디언트 갈등을 효과적으로 줄임을 확인했다.
• ResNet 및 DenseNet과 같은 다양한 네트워크 아키텍처에 대해 아키텍처 수정 없이도 일반화됨을 확인했다.
• 제거 실험을 통해 크기와 방향 동질화 모두가 최적 성능을 내기 위해 필수적이며, 회전 성분이 성능 향상에 기여한다는 점을 입증했다.