[논문 리뷰] Data Scaling Laws in NMT: The Effect of Noise and Architecture

Yamini Bansal, Behrooz Ghorbani외 6명|arXiv (Cornell University)|2022. 02. 04.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 아키텍처 선택과 데이터 품질이 데이터 스케일링 법칙에 미치는 영향을 조사한다. 대부분의 변화—예를 들어 모델 아키텍처, 데이터 필터링, 독립적인 합성 노이즈—는 스케일링 곡선을 승수적으로 이동시킬 뿐이며 스케일링 지수에 미치는 영향은 미미하다. 그러나 백트랜슬레이션은 스케일링 지수를著しく 악화시켜 표본 효율성에 영향을 주는 근본적인 분포 변화를 유도함을 시사한다.

ABSTRACT

In this work, we study the effect of varying the architecture and training data quality on the data scaling properties of Neural Machine Translation (NMT). First, we establish that the test loss of encoder-decoder transformer models scales as a power law in the number of training samples, with a dependence on the model size. Then, we systematically vary aspects of the training setup to understand how they impact the data scaling laws. In particular, we change the following (1) Architecture and task setup: We compare to a transformer-LSTM hybrid, and a decoder-only transformer with a language modeling loss (2) Noise level in the training distribution: We experiment with filtering, and adding iid synthetic noise. In all the above cases, we find that the data scaling exponents are minimally impacted, suggesting that marginally worse architectures or training data can be compensated for by adding more data. Lastly, we find that using back-translated data instead of parallel data, can significantly degrade the scaling exponent.

연구 동기 및 목표

• 모델 아키텍처의 다양성과 데이터 품질 요인이 NMT의 데이터 스케일링 법칙에 미치는 영향을 이해하기 위해.
• 모델 아키텍처의 향상 또는 데이터 필터링이 표본 효율성 향상에 측정 가능한 기여를 하는지 평가하기 위해.
• 합성 노이즈와 백트랜슬레이션을 포함한 다양한 데이터 분포가 기본 스케일링 지수를 변화시키는지 조사하기 위해.
• 데이터 품질, 아키텍처, 데이터 양 간의 상호 교환 관계를 정량화하여 대규모 NMT 학습에 대한 실증적 지침을 제공하기 위해.
• 스케일링 지수가 딥 네트워크의 학습 메커니즘에 대한 기본적 성질을 반영하는지 탐구하기 위해.

제안 방법

• 500K에서 512M 문장 쌍에 이르는 점진적인 영어-독일어 병렬 데이터 서브셋에서 인코더-디코더 트랜스포머 모델을 학습한다.
• 모델 아키텍처를 체계적으로 변화시켜 표준 트랜스포머, 트랜스포머-LSTM 하이브리드, 언어 모델링 손실을 사용하는 디코더 전용 트랜스포머를 비교한다.
• 입력 및 출력 시퀀스에 독립적인 합성 노이즈(i.i.d.)를 도입하여 데이터 손상에 대한 견고성을 평가한다.
• Bicleaner와 대조적 데이터 선택(CDS)을 사용한 데이터 필터링을 적용하여 스케일링 행동에 미치는 영향을 평가한다.
• 다양한 크기(2L6L에서 64L6L)의 독일어-영어 모델을 사용해 백트랜슬레이션된 데이터로 학습하여 분포적 영향을 평가한다.
• 손실 $ \text{loss} \propto \alpha \cdot D^{-p} + C $ 형태의 힘 법칙 스케일링 모델을 피팅하고, $ D $ 는 데이터셋 크기이며, 스케일링 지수 $ p $, 그리고 매개변수 $ \alpha $, $ C $ 의 변화를 분석한다.

실험 결과

연구 질문

• RQ1 모델 아키텍처의 변화(예: 인코더-디코더 대비 디코더 전용)가 NMT에서 데이터 스케일링 지수에 어떤 영향을 미치는가?
• RQ2 데이터 필터링 또는 합성 노이즈가 스케일링 지수에 영향을 미치는 정도는 얼마나 되며, 이는 표본 효율성의 변화를 시사하는가?
• RQ3 일반적인 데이터 증강 기법인 백트랜슬레이션은 인간이 번역한 병렬 데이터에 비해 데이터 스케일링 지수를著しく 악화시키는가?
• RQ4 스케일링 법칙이 예측하는 바와 같이, 모델 아키텍처나 데이터 품질의 향상은 학습 데이터 양의 증가로 상쇄될 수 있는가?
• RQ5 다양한 학습 파이프라인은 본질적으로 다른 스케일링 행동을 유도하는가, 아니면 많은 실용적 조치에 대해 지수는 불변인가?

주요 결과

• 표준 병렬 데이터를 사용할 경우 인코더-디코더 트랜스포머의 테스트 로그-퍼플렉서티는 데이터셋 크기와 거듭제곱 법칙으로 스케일링되며, 스케일링 지수 $ p \approx 0.28 $ 으로 나타난다.
• 모델 아키텍처의 변화(예: 트랜스포머-LSTM 하이브리드, 디코더 전용) 또는 데이터 필터링(Bicleaner, CDS)은 스케일링 곡선의 승수적 이동만 유도하며 스케일링 지수 $ p $ 에는 유의미한 변화가 없다.
• 입력 또는 출력 시퀀스에 독립적인 합성 노이즈를 추가해도 스케일링 지수에 미치는 영향이 미미하여, 모델이 이러한 노이즈에 대해 견고함을 시사한다.
• 백트랜슬레이션은 스케일링 지수를 $ p \approx 0.19 $ 로著しく 감소시켜 인간 병렬 데이터에 비해 표본 효율성이 크게 떨어짐을 시사한다.
• 더 큰 백트랜슬레이션 모델은 절편 $ C $ 와 스케일 $ \alpha $ 를 향상시키지만, 지수 $ p $ 는 향상되지 않아 기본 학습 속도에는 변화가 없음을 시사한다.
• 최대 크기의 백트랜슬레이션 모델조차도 대규모에서 인간 병렬 데이터의 성능을 따라잡지 못해 데이터 품질의 지속적인 격차가 있으며, 이는 데이터 양의 증가로는 완전히 상쇄되지 않음을 시사한다.