[논문 리뷰] No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models

Liang Chen, Haoming Jiang외 6명|arXiv (Cornell University)|2022. 02. 06.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 모델 성능에 대한 각 파라미터의 민감도를 기반으로 개별 파라미터의 학습률을 동적으로 조정하는 감도 유도 적응형 학습률 스케줄링인 SAGE를 제안한다. 저감도(과소적합) 파라미터의 학습률을 증가시키고 고감도(적합 완료) 파라미터의 학습률을 감소시킴으로써 SAGE는 부정확성과 과적합을 줄이고 일반화 성능을 향상시켜, 표준 최적화 방법보다 일관된 성능 향상을 이끌어내며 NLP 및 비전 작업 전반에서 최신 기준 성능을 달성한다.

ABSTRACT

Recent research has shown the existence of significant redundancy in large Transformer models. One can prune the redundant parameters without significantly sacrificing the generalization performance. However, we question whether the redundant parameters could have contributed more if they were properly trained. To answer this question, we propose a novel training strategy that encourages all parameters to be trained sufficiently. Specifically, we adaptively adjust the learning rate for each parameter according to its sensitivity, a robust gradient-based measure reflecting this parameter's contribution to the model performance. A parameter with low sensitivity is redundant, and we improve its fitting by increasing its learning rate. In contrast, a parameter with high sensitivity is well-trained, and we regularize it by decreasing its learning rate to prevent further overfitting. We conduct extensive experiments on natural language understanding, neural machine translation, and image classification to demonstrate the effectiveness of the proposed schedule. Analysis shows that the proposed schedule indeed reduces the redundancy and improves generalization performance.

연구 동기 및 목표

• 대규모 트랜스포머 모델 내의 부정확한 파라미터가 진정으로 무의미한지, 아니면 최적화 전략이 열악하여 부족하게 훈련된 것인지 조사한다.
• 부족한 훈련이 파라미터 과소적합의 원인이며, 본질적인 중복성 때문이 아니라는 가설을 해결한다.
• 민감도 기반으로 학습률을 조정하여 모든 파라미터가 충분히 훈련되도록 하는 훈련 전략을 개발한다.
• 민감도 기반 동적 학습률 스케줄링을 통해 가중치 중복을 줄임으로써 모델 일반화 성능을 향상시킨다.
• 제안된 방법이 기존의 적응형 최적화 방법과 호환되며 이를 향상시킬 수 있음을 보여준다.

제안 방법

• 민감도 기반 개별 파라미터 학습률 스케줄링을 도입하며, 이는 각 파라미터의 성능 기여도를 기반으로 한 기울기 기반 측도이다.
• 저감도 파라미터(중복성 또는 과소적합을 시사)는 더 높은 학습률을 할당하여 훈련을 가속화한다.
• 고감도 파라미터(강력한 기여도 또는 과적합 위험)는 더 낮은 학습률을 할당하여 정규화하고 과적합을 방지한다.
• 민감도 추정의 불안정성과 불확실성을 고려하기 위해 민감도의 국소적 시간적 변화를 계산한다. 이는 현재 민감도와 지수 이동 평균 간의 절대 차이로 계산된다.
• 각 파라미터의 최종 학습률은 민감도와 국소적 시간적 변화의 함수로 계산되며, 노이즈가 있거나 변동성이 큰 민감도 값에 대한 강건성을 확보한다.
• 이 방법은 기존의 적응형 최적화기(예: Adam)와 호환되며 표준 훈련 파이프라인에 원활하게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 적응형 학습률 스케줄링을 통해 더 효과적으로 훈련된 경우, 대규모 트랜스포머 모델 내의 중복 파라미터가 유용해질 수 있는가?
• RQ2 민감도 기반 학습률 적응 전략이 모델의 중복성을 줄이고 일반화 성능을 향상시키는가?
• RQ3 제안된 방법은 다양한 NLP 및 비전 작업에서 표준 최적화 방법과 비교해 어떻게 성능을 내는가?
• RQ4 감도 유도 학습률 스케줄링은 최신 기술의 정규화 기법과 효과적으로 조합될 수 있는가?
• RQ5 이 방법은 더 넓은 하이퍼파rameter 검색 공간 내에서 과적합을 줄이고 일반화 성능을 향상시키는가?

주요 결과

• SAGE는 BERT-base를 미세조정할 때 RTE 데이터셋에서 최대 20%의 파라미터가 제거된 상태에서도 일반화 성능을 1% 향상시켰다.
• GLUE 벤치마크에서 SAGE는 Adamax를 사용할 경우 표준 Adamax보다 평균 2.6점 높은 성능을 기록했으며, 모든 작업에서 성능 향상을 보였고, RTE에서 3.4점 향상되었다.
• 스피RAL 데이터셋에서 SAGE가 학습한 결정 경계는 Adam보다 더 매끄럽고 더 큰 마진을 가지며, 일반화 성능 향상이 뚜렷하다.
• SAGE는 훈련 중 민감도 점수의 분산을 줄여, 더 균형 잡히고 충분한 파라미터 훈련을 나타낸다.
• SAGE는 학습률 및 $eta$ 하이퍼파rameter에 대해 더 넓은 영역의 하이퍼파rameter 검색 공간에서 일관되게 일반화 성능을 향상시켰다.
• 최신 기술의 적대적 정규화 기법인 SMART와 조합했을 때 SAGE는 성능을 더욱 향상시켜, 존재하는 정규화 기법과의 상호보완성을 입증했다.