[논문 리뷰] Adaptive Scheduling for Multi-Task Learning

Sébastien Jean, Orhan Fırat외 1명|arXiv (Cornell University)|2019. 09. 13.

Distributed and Parallel Computing Systems참고 문헌 19인용 수 31

한 줄 요약

이 논문은 다국어 신경 기계 번역에서 다중 작업 학습을 위한 적응형 스케줄링을 제안하며, 검증 성능을 사용해 작업 샘플링 또는 기울기 스케일링을 동적으로 조정한다. 고성능 번역(예: En-Fr) 성능을 떨어뜨리지 않은 채 저자원 번역(예: En-De) 성능을 향상시켜 고정 스케줄링 및 기준 모델을 능가하며, 검증 지표에 기반한 암묵적 및 명시적 적응 전략을 통해 성능 균형을 잡는다.

ABSTRACT

To train neural machine translation models simultaneously on multiple tasks (languages), it is common to sample each task uniformly or in proportion to dataset sizes. As these methods offer little control over performance trade-offs, we explore different task scheduling approaches. We first consider existing non-adaptive techniques, then move on to adaptive schedules that over-sample tasks with poorer results compared to their respective baseline. As explicit schedules can be inefficient, especially if one task is highly over-sampled, we also consider implicit schedules, learning to scale learning rates or gradients of individual tasks instead. These techniques allow training multilingual models that perform better for low-resource language pairs (tasks with small amount of data), while minimizing negative effects on high-resource tasks.

연구 동기 및 목표

• 다중 작업 학습에서 성능 불균형 문제, 특히 저자원 작업이 성능을 떨어뜨리는 다국어 신경 기계 번역 환경에서 이를 해결하기 위해.
• 작업 샘플링 스케줄링을 위한 수동 하이퍼파라미터 튜닝에 대한 의존도를 줄이기 위해.
• 검증 성능에 기반해 작업 중요도를 동적으로 조정함으로써 다중 작업 모델에서의 치명적 기억 상실을 완화하기 위해.
• 명시적(샘플링 확률 조정) 및 암묵적(기울기/학습률 스케일링) 스케줄링 전략을 모두 탐색하기 위해.

제안 방법

• 명시적 스케줄링은 작업의 상대적 검증 BLEU 점수(s_i / b_i)를 사용해 비정규화된 가중치 w_i = 1 / (min(1, s_i / b_i)^α + ε)로 계산하며, 이를 정규화해 샘플링 확률로 변환한다.
• 암묵적 스케줄링의 경우, w_i = 1 + sign(average_S - S_i) * min(γ, (max_j S_j)^α * |S_i - average_S|^β)로 가중치를 계산하여 최소 가중치 γ를 보장함으로써 기억 상실을 방지한다.
• 이 방법은 명시적 샘플링과 암묵적 기울기/학습률 스케일링 모두에 적용되며, Adam과 같은 적응형 최적화기에서의 일관성을 유지하기 위해 조정이 이루어진다.
• 적응을 위한 주요 신호로 검증 점수를 사용하여, 테스트 성능과 상관관계가 낮을 수 있는 훈련 손실에 의존하지 않는다.
• 수많은 작업에 대해 수동 하이퍼파라미터 튜닝이 불가능해지는 상황을 고려해 대규모 작업 수에 대해 확장 가능한 설계를 한다.
• 하이퍼파라미터 α, β, γ는 각각 적응의 강도와 최소 작업 가중치를 제어한다.

실험 결과

연구 질문

• RQ1 검증 성능는 다중 작업 학습에서 동적 작업 스케줄링을 이끄는 데 효과적으로 활용될 수 있는가?
• RQ2 명시적 및 암묵적 적응 스케줄링 전략은 고성능 및 저성능 작업 간의 성능 균형을 어떻게 비교해 볼 수 있는가?
• RQ3 적응형 스케줄링은 고성능 성능을 떨어뜨리지 않고 저자원 번역 성능을 향상시킬 수 있는가?
• RQ4 Adam과 같은 일반적인 최적화기에서 적응형 스케줄링의 안정성 및 수렴 성질은 어떠한가?
• RQ5 적응형 스케줄링는 많은 수의 작업을 포함하는 모델에 어떻게 확장 가능한가?

주요 결과

• 명시적 적응 스케줄링 방법은 개선된 En-De BLEU 점수를 23.58(기준)에서 개선도에서 24.67, 테스트에서 26.35로 향상시켰으며, 고정된 50% 및 75% En-Fr 샘플링 스케줄링보다 뛰어났다.
• 암묵적 검증 기반 스케줄링은 En-Fr 개선도에서 34.67 BLEU, 테스트에서 40.89 BLEU를 기록해 단일 작업 En-Fr 기준 성능을 그대로 유지했다.
• 명시적 적응 스케줄링은 En-De에서 최고의 테스트 BLEU 점수(26.35)를 기록해 저자원 번역 성능 향상이 뚜렷했다.
• 암묵적 기울기 스케일링(GradNorm)은 En-De에서 양호한 성능(24.69 개선도)을 보였지만, En-Fr에서는 성능이 떨어졌다(34.33 개선도), 이는 고성능 작업의 균형을 맞추는 데 한계가 있음을 시사한다.
• 제안된 방법은 고성능 및 저성능 작업 간의 성능 격차를 줄였으며, 고성능 쌍에서의 성능 저하도 최소화했다.
• 적응형 스케줄링는 대규모 작업 수에 대해 확장 가능성이 있으며, 이는 수동 하이퍼파라미터 검색이 비실용적이게 되는 상황에서 유용하다.