[논문 리뷰] An Efficient Transformer Decoder with Compressed Sub-layers

Yanyang Li, Ye Lin외 2명|arXiv (Cornell University)|2021. 01. 03.

Network Packet Processing and Optimization참고 문헌 23인용 수 10

한 줄 요약

이 논문은 압축된 어텐션 네트워크(Compressed Attention Network, CAN)를 제안한다. CAN은 자가어텐션, 크로스어텐션, 피드포워드 네트워크의 세 가지 표준 서브레이어를 약한 조건 하에서 수학적 등가성에 기반해 하나의 통합 어텐션 메커니즘으로 압축하는 새로운 트랜스포머 디코더 아키텍처이다. 이 방법은 성능 저하 없이 표준 트랜스포머 기준보다 최대 2.82배 빠른 추론을 달성하며, 높은 병렬성과 간편한 구현을 유지한다.

ABSTRACT

The large attention-based encoder-decoder network (Transformer) has become prevailing recently due to its effectiveness. But the high computation complexity of its decoder raises the inefficiency issue. By examining the mathematic formulation of the decoder, we show that under some mild conditions, the architecture could be simplified by compressing its sub-layers, the basic building block of Transformer, and achieves a higher parallelism. We thereby propose Compressed Attention Network, whose decoder layer consists of only one sub-layer instead of three. Extensive experiments on 14 WMT machine translation tasks show that our model is 1.42x faster with performance on par with a strong baseline. This strong baseline is already 2x faster than the widely used standard baseline without loss in performance.

연구 동기 및 목표

• 트랜스포머 디코더의 깊고 순차적인 서브레이어 아키텍처로 인한 높은 추론 지연을 해결하기 위해.
• 디코더 내 병렬성을 높임으로써 번역 품질을 훼손하지 않고 추론 효율성을 향상시키기 위해.
• 성능를 유지하면서 계산 오버헤드를 줄이는 단일 서브레이어 아키텍처를 제안하기 위해.
• 기존 가속화 방법과의 공정한 비교를 위해 깊은 인코더와 얕은 디코더를 사용해 강력한 기준 모델을 수립하기 위해.

제안 방법

• 저자들은 자가어텐션과 크로스어텐션을 입력이 충분히 유사할 경우에 수학적으로 하나의 어텐션 메커니즘으로 융합할 수 있음을 증명하였으며, 이 조건은 WMT 데이터에서 경험적으로 검증되었다.
• 또한 피드포워드 네트워크의 연산이 선형적이므로 어텐션 서브레이어와 융합될 수 있음을 보여주어 세 서브레이어를 완전히 하나로 압축할 수 있게 하였다.
• 결과적으로 도출된 압축된 어텐션 네트워크(CAN)는 자가어텐션, 크로스어텐션, 피드포워드 변환 기능을 동시에 수행하는 단일 어텐션 레이어를 사용한다.
• 이 방법은 어텐션 헤드 간 파라미터 공유를 기반으로 하며, 잔차 연결을 유지하여 기울기 흐름과 모델 안정성을 보존한다.
• 깊은 인코더와 얕은 디코더를 사용해 강력한 기준 모델을 구축하였으며, 이는 표준 트랜스포머보다 2배 빠르며 성능 손실 없이 작동한다.

실험 결과

연구 질문

• RQ1 트랜스포머 디코더의 세 서브레이어를 성능 저하 없이 하나의 어텐션 메커니즘으로 수학적으로 압축할 수 있는가?
• RQ2 자기어텐션과 크로스어텐션을 하나의 레이어로 압축하는 것은 어떤 조건에서 유효하고 효과적인가?
• RQ3 피드포워드 네트워크를 어텐션 레이어와 융합해도 모델 성능을 유지하면서 추론 속도를 향상시킬 수 있는가?
• RQ4 얕고 단일 서브레이어로 구성된 디코더는 표준 모델 및 이전의 가속화 방법과 비교해 경쟁적인 속도 향상을 달성할 수 있는가?

주요 결과

• CAN은 14개의 WMT 기계 번역 작업 전반에서 표준 트랜스포머 기준보다 최대 2.82배 빠른 추론 속도를 달성했으며, 성능 저하가 거의 없었다.
• 깊은 인코더와 얕은 디코더를 사용한 더 강력한 기준 모델과 비교했을 때도 CAN은 여전히 1.42배의 속도 향상을 보였으며, SAN과 AAN과 같은 다른 방법들(1.12–1.16배 속도 향상)을 뛰어넘었다.
• 연속된 서브레이어의 입력 간余弦 유사도가 높았으며(예: WMT14 En-De에서 >0.9), 이는 압축에 적합한 입력 유사성 조건이 충족됨을 검증한다.
• 압축에도 불구하고 훈련 중에 안정적으로 수렴하였으며, 성능 저하가 최소한이었으며, 이는 아키텍처 단순화의 강건성을 시사한다.
• 제안된 방법은 간편하게 구현 가능하며, 표준 훈련 외에 아키텍처 수정이나 추가 파라미터가 필요하지 않다.