[논문 리뷰] Transformer on a Diet

Chenguang Wang, Zihao Ye외 3명|arXiv (Cornell University)|2020. 02. 14.

Topic Modeling참고 문헌 25인용 수 4

한 줄 요약

이 논문은 장기적 및 단기적 의존성을 유지하면서 계산 복잡도를 줄이는 세 가지 경량 Transformer 아키텍처—확장 Transformer, 메모리가 있는 확장 Transformer, 캐스케이드 Transformer—을 제안한다. 가장 가벼운 변종은 파라미터를 70% 감소시키면서 언어 모델링 벤치마크에서 경쟁 가능한 퍼플렉서티를 달성하여 성능을 희생시키지 않은 채 효율적인 추론을 가능하게 한다.

ABSTRACT

Transformer has been widely used thanks to its ability to capture sequence information in an efficient way. However, recent developments, such as BERT and GPT-2, deliver only heavy architectures with a focus on effectiveness. In this paper, we explore three carefully-designed light Transformer architectures to figure out whether the Transformer with less computations could produce competitive results. Experimental results on language model benchmark datasets hint that such trade-off is promising, and the light Transformer reduces 70% parameters at best, while obtains competitive perplexity compared to standard Transformer. The source code is publicly available.

연구 동기 및 목표

• 시퀀스 모델링 작업에서 경쟁적인 성능을 유지하면서 계산 비용을 줄이는 효율적인 Transformer 아키텍처를 설계하기.
• 기본 Transformer에서 불필요한 연결을 제거할 경우 장기적 및 국소적 의존성을 효과적으로 유지할 수 있는지 탐색하기.
• 모델 크기와 추론 비용을 최소화하여 자원이 제한된 환경에서 Transformer의 실용적 구현을 가능하게 하기.
• 표준 언어 모델링 벤치마크에서 모델 효율성, 파라미터 수, 성능 간의 상호 상관 관계 평가하기.

제안 방법

• 자기주의사 attention 레이어에 지수적 확장 요소를 사용하여 확장 연결을 도입함으로써 효과적 수신 영역을 확장하면서 계산량을 O(n²)에서 O(nk)로 감소시키기.
• 이전 확장 레이어의 출력을 캐시하여 메모리가 있는 확장 Transformer에서 장기적 의존성 모델링을 향상시키고 더 풍부한 맥락 유지 가능하게 하기.
• 여러 이전 레이어의 특징을 집계하는 캐스케이드 연결을 적용하여 캐스케이드 Transformer에서 국소적 맥락 모델링 강화하기.
• 모델 간 일관성을 확보하기 위해 공유된 초모수(예: 히든 사이즈 2000, 16헤드, 드롭아웃 0.4/0.2)를 사용하고, SGD와 절삭된 역전파를 통해 훈련하기.
• 안정성을 확보하기 위해 잔차 연결과 레이어 정규화를 유지하면서 동시에 주의 계산 경로의 수를 줄이는 아키텍처 설계하기.
• 퍼플렉서티를 주요 평가 지표로 사용하여 PTB 및 WT-2 데이터셋에서 모든 모델의 성능 평가하기, 파라미터 수와 추론 효율성 비교하기.

실험 결과

연구 질문

• RQ1 연결 수를 줄인 Transformer 아키텍처가 언어 모델링 작업에서 경쟁적인 성능을 유지할 수 있는가?
• RQ2 O(n²)에서 O(n)으로 계산 복잡도를 줄일 경우 성능 저하 없이 어느 정도까지 감소시킬 수 있는가?
• RQ3 확장, 메모리 보강, 캐스케이드 중 어떤 아키텍처 설계가 가장 효과적으로 장기적 및 국소적 의존성을 경량 형태로 유지하는가?
• RQ4 다양한 경량 Transformer 변종에서 파라미터 감소와 퍼플렉서티 저하 간의 상관관계는 어떠한가?

주요 결과

• 캐스케이드 Transformer는 전체 Transformer와 매우 유사한 퍼플렉서티를 달성하여 국소적 맥락 모델링이 언어 모델링에 매우 중요하다는 것을 시사한다.
• 메모리가 있는 확장 Transformer는 표준 Transformer 대비 70%의 파라미터 감소를 달성하면서 성능 저하가 중간 정도에 그친다.
• 모든 경량 Transformer 변종은 계산 비용을 크게 줄이며, 복잡도가 O(n²)에서 O(nk)로 선형적으로 증가한다.
• 가장 가벼운 아키텍처(확장 Transformer)는 모델 크기를 70% 감소시키면서도 경쟁 가능한 퍼플렉서티를 유지하여 제한된 환경에서의 구현에 매우 적합하다.
• 결과는 모델 효율성과 성능 간의 실현 가능한 트레이드오프를 시사하며, 엣지나 자원이 제한된 환경에서 대규모 언어 모델의 구현 가능성을 높인다.