[논문 리뷰] Faster Transformer Decoding: N-gram Masked Self-Attention

Ciprian Chelba, Mia Xu Chen외 2명|arXiv (Cornell University)|2020. 01. 14.

Topic Modeling참고 문헌 8인용 수 13

한 줄 요약

이 논문은 N-gram 마스킹 자기주의 주의를 제안하여, 자기주의 주의의 맥락을 이전 N−1개의 타겟 토큰으로 제한함으로써 트랜스포저 디코딩을 가속화한다. 이로 인해 계산 복잡도는 O(T²)에서 O(N·T)로 감소한다. WMT EnDe 및 EnFr에서의 실험 결과, N=8일 때 기준선 BLEU 점수에 근접한 성능(0.3–0.4 BLEU 이내)을 기록하면서도 최대 2–3배의 속도 향상을 이룰 수 있었으며, 메모리 대역폭도 감소시켰다.

ABSTRACT

Motivated by the fact that most of the information relevant to the prediction of target tokens is drawn from the source sentence $S=s_1, \ldots, s_S$, we propose truncating the target-side window used for computing self-attention by making an $N$-gram assumption. Experiments on WMT EnDe and EnFr data sets show that the $N$-gram masked self-attention model loses very little in BLEU score for $N$ values in the range $4, \ldots, 8$, depending on the task.

연구 동기 및 목표

• 자기주의 주의 디코딩의 계산 및 메모리 오버헤드를 성능 저하 없이 줄이는 것.
• 자기주의 주의 맥락을 고정된 N-gram 윈도우로 제한할 경우 신경 기계 번역에서 번역 품질이 유지되는지 조사하는 것.
• 시퀀스 생성에서 추론 속도, 메모리 효율성, 모델 정확성 간의 트레이드오���을 평가하는 것.
• 빔 서치 동안 가장 최근의 N−1개 토큰만 저장하는 고정 크기의 버퍼를 사용하는 것이 가능하고, 이로 인해 메모리 액세스 오버헤드를 줄일 수 있는지 탐색하는 것.

제안 방법

• 디코더의 자기주의 주의 계산을 이전 N−1개의 타겟 토큰으로만 제한하는 N-gram 마스킹 자기주의 주의 메커니즘을 도입한다.
• 표준 인과적 자기주의 주의 메커니즘을 수정하여, 타겟 시퀀스에서 이전 N−1개 위치를 초과하는 토큰을 제외하는 마스크를 적용한다.
• 링보 프레임워크에 N-gram 주의를 구성 가능한 옵션으로 구현하여, 디코더 레이어의 전체 인과적 주의를 대체한다.
• 디코딩 중에 점진적으로 업데이트되는 크기 N−1의 슬라이딩 윈도우 버퍼를 사용하여 맥락 토큰을 저장하고, 메모리 액세스 오버헤드를 줄인다.
• 디코더의 자기주의 주의만 N-gram으로 제한하고, 인코더-디코더 주의 메커니즘은 그대로 유지한다.
• 워드피ece 토크나이제이션과 고정된 초모수를 사용하여 WMT EnDe 및 EnFr 데이터셋에서 표준 트랜스포저 아키텍처로 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 이전 N−1개 토큰으로 자기주의 주의 맥락을 제한할 경우 번역 품질(bleu 점수 기준)에 어떤 영향을 미치는가?
• RQ2 기계 번역 작업에서 속도와 성능을 균형 잡는 데 최적의 N-gram 순서(N)는 무엇인가?
• RQ3 N-gram 자기주의 주의가 추론 중 계산 복잡도와 메모리 대역폭을 얼마나 줄일 수 있는가?
• RQ4 맥락이 잘라지는 상황에서도 N-gram 메커니즘이 장거리 의존성을 유지할 수 있는가?
• RQ5 빔 서치 중에 고정 크기의 버퍼를 사용하여 가장 최근의 N−1개 토큰만 저장함으로써 메모리 액세스를 효율적으로 줄일 수 있는가?

주요 결과

• WMT EnDe에서 N=8일 때, 테스트 세트에서 BLEU 점수 22.5를 기록하였으며, 기준선(22.4)보다 0.1 BLEU 뿐만 못하고, 최고 성능 기준선과 0.3–0.4 BLEU 이내로 근접하였다.
• WMT EnFr에서 N=8은 테스트 데이터에서 BLEU 점수 32.7을 기록하였으며, 기준선(32.9)과 0.2 BLEU 이내로 일치하였고, 더 작은 N-gram 모델보다 우수한 성능을 보였다.
• N-gram 모델은 계산 복잡도를 O(T²)에서 O(N·T)로 줄여, 길이 T≈16–25인 시퀀스에서 이론적으로 약 2–3배의 속도 향상을 가능하게 하였다.
• WMT EnDe 테스트 데이터에서 N=8 모델은 로그 퍼플렉서티 2.66을 기록하였으며, 기준선의 2.64와 비교해 매우 낮은 수준의 증가를 보여, 언어 모델링 능력에 대한 최소한의 저하를 의미한다.
• N-gram 메커니즘은 길이 N−1의 고정 크기 메모리 버퍼를 허용하여, O(T/N) 정도의 비율로 메모리 대역폭을 감소시켰으며, 이는 TPU 하드웨어에서 특히 유리하다.
• N≥3일 때 성능 저하가 점진적으로 나타나며, N=4일 때도 WMT EnDe에서 이미 BLEU 22.2를 기록하여, 더 작은 N 값이 속도-정확도 트레이드오프에 있어 실현 가능하다는 것을 보여주었다.