[논문 리뷰] DeLighT: Very Deep and Light-weight Transformer

Sachin Mehta, Marjan Ghazvininejad외 3명|arXiv (Cornell University)|2020. 08. 03.

Topic Modeling참고 문헌 30인용 수 22

한 줄 요약

DeLighT는 매우 깊고 가벼운 트랜스포머 아키텍처로, 파라미터 수와 FLOPs를 크게 줄였음에도 표준 트랜스포머와 비교해 뛰어나거나 유사한 성능을 달성한다. DExTra를 사용해 파라미터 효율적인 블록 단위 변환과 적응형 블록 스케일링을 통해 출력 쪽으로 레이어를 깊게 하고 넓게 만들며, 이로 인해 모델은 2.5–4× 더 깊어지지만 파라미터 수는 감소하고 기계 번역 및 언어 모델링 작업에서 효율성이 향상된다.

ABSTRACT

We introduce a very deep and light-weight transformer, DeLighT, that delivers similar or better performance than transformer-based models with significantly fewer parameters. DeLighT more efficiently allocates parameters both (1) within each Transformer block using DExTra, a deep and light-weight transformation and (2) across blocks using block-wise scaling, that allows for shallower and narrower DeLighT blocks near the input and wider and deeper DeLighT blocks near the output. Overall, DeLighT networks are 2.5 to 4 times deeper than standard transformer models and yet have fewer parameters and operations. Experiments on machine translation and language modeling tasks show that DeLighT matches the performance of baseline Transformers with significantly fewer parameters. On the WMT'14 En-Fr high resource dataset, DeLighT requires 1.8 times fewer parameters and 2 times fewer operations and achieves better performance (+0.4 BLEU score) than baseline transformers. On the WMT'16 En-Ro low resource dataset, DeLighT delivers similar performance with 2.8 times fewer parameters than baseline transformers.

연구 동기 및 목표

• 모델 크기와 계산 비용을 크게 줄이면서도 성능을 유지하거나 향상시키는 트랜스포머 아키텍처를 설계하기 위해.
• 높은 성능를 보이지만 깊이와 파라미터 수가 비효율적으로 증가하는 표준 트랜스포머의 비효율성을 해결하기 위해.
• 표현 능력을 향상시키기 위해 후행 레이어에서 더 깊고 넓은 블록을 우선적으로 배정하는 파라미터 할당 전략을 탐색하기 위해.
• 극도로 깊은 네트워크를 만들면서도 파라미터 증가를 최소화해 정확도를 유지하면서 효율성을 높이는 방법을 개발하기 위해.

제안 방법

• 각 트랜스포머 블록 내의 어텐션과 피드포워드 레이어를 재구조화하여 파라미터 수를 줄이는 깊고 가벼운 변환 기법인 DExTra를 도입한다.
• 블록 단위 스케일링을 적용해 네트워크 전반에서 트랜스포머 블록의 너비와 깊이를 다양하게 조절하며, 초기 블록은 좁고 浅고 후행 블록은 넓고 깊게 한다.
• 더 깊고 넓은 블록을 출력 쪽으로 배치함으로써 복잡한 표현을 더 효율적으로 포착할 수 있도록 점진적인 아키텍처 설계를 적용한다.
• 계층적 추상화가 가장 유익한 후행 레이어에 계산 자원을 집중시켜 파라미터 분포를 최적화한다.
• 극도로 깊고 좁은 초기 레이어에서도 학습 안정성을 유지할 수 있도록 잔차 연결 기반 설계를 구현한다.
• 지식 distillation과 self-supervised pretraining을 활용해 최소한의 파라미터로 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 성능을 저하시키지 않고 파라미터 수와 FLOPs를 줄이며 트랜스포머를 크게 깊게 만들 수 있는가?
• RQ2 트랜스포머 블록 내외의 파라미터 할당 전략을 어떻게 최적화해 효율성과 표현 능력을 향상시킬 수 있는가?
• RQ3 모든 레이어에 동일하거나 浅은 블록을 사용하는 것과 비교해, 더 깊고 넓은 블록을 출력 쪽에 위치시키는 것이 성능 향상에 기여하는가?
• RQ4 DeLighT와 같은 경량 아키텍처가 더 적은 파라미터로 저자원 및 고자원 기계 번역 작업에서 표준 트랜스포머를 능가할 수 있는가?
• RQ5 블록 단위 스케일링과 DExTra는 학습 안정성과 추론 효율성에 어떤 영향을 미치는가?

주요 결과

• WMT'14 En-Fr 번역 데이터셋에서 DeLighT는 표준 트랜스포머보다 +0.4 BLEU 점수 향상을 달성했으며, 파라미터 수는 1.8배 줄이고 FLOPs는 2배 감소시켰다.
• 저자원 WMT'16 En-Ro 데이터셋에서 DeLighT는 기준 성능을 유지하면서 파라미터 수를 2.8배 줄였다.
• DeLighT 모델은 표준 트랜스포머보다 2.5~4배 더 깊으며, 파라미터 인식 아키텍처 설계를 통해 극도로 깊은 구조를 효율적으로 달성할 수 있음을 보여준다.
• DExTra와 블록 단위 스케일링의 조합은 특히 깊은 레이어에서 파라미터 증가를 최소화하면서도 높은 표현 능력을 확보할 수 있도록 한다.
• 모델은 고자원 및 저자원 환경 모두에서 강력한 성능을 유지하며, 데이터 부족에 대한 강건성을 보여준다.
• 파라미터 수 감소와 FLOP 감소 모두 일관된 효율성 향상이 나타나, DeLighT의 실용적 이점이 부각된다.