[논문 리뷰] Optimizing Deeper Transformers on Small Datasets

Peng Xu, Dhruv Kumar외 7명|arXiv (Cornell University)|2020. 12. 30.

Topic Modeling참고 문헌 35인용 수 4

한 줄 요약

이 논문은 학습률 웜업 또는 레이어 정규화 없이 소규모 데이터셋에서 48층에 이르는 매우 깊은 트랜스포머를 처음부터 훈련할 수 있도록 하는 데이터에 의존하는 가중치 초기화 방법인 DT-Fixup을 제안한다. 24개의 미세조정된 RoBERTa 레이어와 24개의 관계 인식 레이어를 처음부터 훈련한 하이브리드 모델에 DT-Fixup을 적용한 결과, 작업 전용 사전 훈련 없이도 훈련 단계 수를 줄이고 Spider Text-to-SQL 벤치마크에서 최고 성능인 70.9% 정확 일치를 달 đạt했다.

ABSTRACT

It is a common belief that training deep transformers from scratch requires large datasets. Consequently, for small datasets, people usually use shallow and simple additional layers on top of pre-trained models during fine-tuning. This work shows that this does not always need to be the case: with proper initialization and optimization, the benefits of very deep transformers can carry over to challenging tasks with small datasets, including Text-to-SQL semantic parsing and logical reading comprehension. In particular, we successfully train $48$ layers of transformers, comprising $24$ fine-tuned layers from pre-trained RoBERTa and $24$ relation-aware layers trained from scratch. With fewer training steps and no task-specific pre-training, we obtain the state-of-the-art performance on the challenging cross-domain Text-to-SQL parsing benchmark Spider. We achieve this by deriving a novel Data-dependent Transformer Fixed-update initialization scheme (DT-Fixup), inspired by the prior T-Fixup work. Further error analysis shows that increasing depth can help improve generalization on small datasets for hard cases that require reasoning and structural understanding.

연구 동기 및 목표

• 깊은 트랜스포머를 처음부터 훈련시키는 데에는 대규모 데이터셋이 반드시 필요하다는 일반적인 믿음을 도전하기 위해, 특히 제한된 데이터로 인한 추론 중심 작업에 대해.
• 소규모 데이터셋에서 깊은 트랜스포머를 훈련할 때 발생하는 최적화 과제, 예를 들어 제한된 배치 크기로 인한 불안정성과 학습률 웜업 또는 레이어 정규화에 대한 의존성을 극복하기 위해.
• 소규모이고 복잡한 NLP 벤치마크에서 일반화 능력과 추론 능력을 향상시키기 위해 더 깊은 트랜스포머 아키텍처를 활용할 수 있도록 하는 일반화 가능한 초기화 방법을 개발하기 위해.
• 적절하게 초기화된 더 깊은 트랜스포머가, Spider나 ReCola와 같은 데이터셋에서 작업 전용 사전 훈련 없이도 얕은 모델보다 우수한 성능을 내는가를 입증하기 위해.

제안 방법

• DT-Fixup는 T-Fixup에서 영감을 얻은 데이터에 의존하는 초기화 방법을 도입하여, 입력 데이터 분포에 맞게 가중치 스케일링을 조정함으로써 레이어 정규화나 학습률 웜업 없이도 훈련을 안정화시킨다.
• 이 방법은 T-Fixup을 혼합 아키텍처로 확장한다: 사전 훈련된 RoBERTa 레이어와 새로 훈련된 관계 인식 트랜스포머 레이어를 결합함으로써 소규모 데이터셋에서 더 깊은 모델을 가능하게 한다.
• 입력 표현의 분산을 고려한 수정된 가중치 초기화를 적용하여, 깊은 네트워크에서 역전파 동안 안정적인 기울기를 확보한다.
• 이 접근법은 관계 인식 트랜스포머로 일반화되어, Text-to-SQL 파싱과 같은 작업에서 구조적 및 관계적 의존성을 향상시킬 수 있도록 한다.
• 소규모 데이터셋에서 일반적인 배치 크기로 훈련을 수행하지만, DT-Fixup는 수렴성과 일반화 성능을 유지한다.
• 이 방법은 두 가지 도전적인 벤치마크에서 평가된다: Spider(다중 도메인 Text-to-SQL)와 ReCola(논리적 독해 이해), 둘 다 10,000개 미만의 훈련 샘플을 가진다.

실험 결과

연구 질문

• RQ1 학습 전용 사전 훈련 없이도 소규모 데이터셋에서 48층에 이르는 매우 깊은 트랜스포머를 처음부터 성공적으로 훈련시킬 수 있는가?
• RQ2 DT-Fixup와 같은 데이터에 의존하는 초기화 방법이, 소규모이고 복잡한 NLP 작업에서 일반화 능력과 수렴 속도 측면에서 표준 훈련 절차를 능가하는가?
• RQ3 더 깊은 트랜스포머 아키텍처가 Text-to-SQL 파싱이나 논리적 독해 이해와 같은 추론 중심 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 표준 훈련 절차가 소규모 데이터셋에서 실패하는 이유는 무엇이며, 최적화 개선만으로도 깊이의 이점을 회복할 수 있는가?

주요 결과

• 제안된 DT-Fixup 방법은 Spider 벤치마크에서 단지 10,000개의 훈련 샘플로 48층 트랜스포머 모델(24개의 사전 훈련된 RoBERTa 레이어 + 24개의 처음부터 훈련된 관계 인식 레이어)을 성공적으로 훈련시킬 수 있다.
• 이 모델은 Spider 테스트 세트에서 70.9%의 정확 일치 정확도를 달성하여, 작성 시점 기준으로 새로운 최고 성능 기록을 수립했다.
• DT-Fixup는 일반화 능력이 더 뛰어나며, 특히 추론과 구조적 이해가 필요한 어려운 예제에서 표준 훈련보다 뛰어난 성능을 보였다.
• 오류 분석 결과, 더 깊은 모델(N=24)은 얕은 모델과 표준 훈련된 모델에 비해 스케치 오류와 모두 오류를 크게 감소시켰으며, 이는 향상된 구조적 추론 능력을 시사한다.
• 학습률 웜업과 레이어 정규화가 필요 없어지며, 소규모 데이터셋에서 작은 배치 크기로도 안정적인 훈련이 가능해졌다.
• 성능 향상은 아키텍처 설계 자체의 결과가 아니라 최적화 전략에 기인한다. 표준 훈련을 사용한 더 깊은 모델는 소규모 데이터에서 일반화에 실패한다.