[논문 리뷰] Neural Machine Translation with Joint Representation

Yanyang Li, Qiang Wang외 3명|arXiv (Cornell University)|2020. 02. 16.

Natural Language Processing Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 분리 가능 주의(Seperable Attention)라고 불리는 새로운 효율적인 주의 메커니즘을 통해 원천 및 대상 시퀀스 간의 공동 표현을 활용하는 신규 시퀀스-투-시퀀스 프레임워크인 Reformer을 제안한다. 모든 원천 및 대상 토큰 간의 상호작용을 완전히 모델링하면서도 계산 효율성을 유지함으로써, Reformer은 대규모 번역 작업에서 기준 Transformer보다 최대 1.9 BLEU 포인트 향상시키며, 파rameter 수를 50% 줄여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Though early successes of Statistical Machine Translation (SMT) systems are attributed in part to the explicit modelling of the interaction between any two source and target units, e.g., alignment, the recent Neural Machine Translation (NMT) systems resort to the attention which partially encodes the interaction for efficiency. In this paper, we employ Joint Representation that fully accounts for each possible interaction. We sidestep the inefficiency issue by refining representations with the proposed efficient attention operation. The resulting Reformer models offer a new Sequence-to- Sequence modelling paradigm besides the Encoder-Decoder framework and outperform the Transformer baseline in either the small scale IWSLT14 German-English, English-German and IWSLT15 Vietnamese-English or the large scale NIST12 Chinese-English translation tasks by about 1 BLEU point.We also propose a systematic model scaling approach, allowing the Reformer model to beat the state-of-the-art Transformer in IWSLT14 German-English and NIST12 Chinese-English with about 50% fewer parameters. The code is publicly available at https://github.com/lyy1994/reformer.

연구 동기 및 목표

• 전체 공동 표현의 비효율성 문제를 해결하기 위해 신경 번역에서 모든 원천-대상 단위 상호작용을 명시적으로 모델링하지만 높은 계산 비용을 수반하는 문제를 해결한다.
• 원천 및 대상 시퀀스 간의 상호작용을 완전히 포괄하는 효율적인 주의 메커니즘을 개발하여, 기존 주의 메커니즘이 단일 시퀀스로 제한되는 한계를 극복한다.
• 기존의 인코더-디코더 프레임워크에 종속되지 않는 공동 표현 기반의 새로운 시퀀스-투-시퀀스 모델링 파라다임을 제안한다.
• 매우 낮은 파rameter 수로 최신 기술 수준 성능을 달성하는 체계적인 모델 스케일링을 가능하게 한다.
• 문맥 모델링 및 길이 예측 정확도를 향상시켜 장거리 시퀀스 및 희귀 토큰에 대해 번역 품질을 향상시킨다.

제안 방법

• 공동 표현 공간 $\mathbb{R}^{S\times T\times H}$에서 작동하는 새로운 주의 메커니즘인 분리 가능 주의(Seperable Attention)를 도입하여 원천 및 대상 토큰 간의 완전한 상호작용 모델링을 가능하게 한다.
• 두 가지 Reformer 변형을 설계: $O(1)$의 액세스로 어떤 원천 또는 대상 토큰에도 접근 가능한 최대 성능을 내는 Reformer-base와, 유사한 성능을 내면서도 더 높은 효율성을 확보하는 Reformer-fast.
• 자기 주의 메커니즘을 재구성하여 원천 및 대상 시퀀스 간의 계산을 분할함으로써 복잡도를 감소시키면서도 완전한 상호작용 모델링을 유지한다.
• 훈련 안정성을 확보하기 위해 잔차 연결과 레이어 정규화를 적용하였으며, 이는 트랜스포머 아키텍처를 따르되 공동 표현 공간에 맞게 적응시킨 것이다.
• 다항식 비용의 그리드 서치와는 대조적으로, 향상된 모델를 생성하기 위해 단지 $O(2)$번의 실행만을 요구하는 체계적인 모델 스케일링 접근법을 제안한다.
• 스케일링된 모델 간에 공통된 파라미터 초기화 전략을 활용하여 체계적인 초모델 튜닝 없이도 일관된 성능 향상을 확보한다.

실험 결과

연구 질문

• RQ1 완전한 공동 표현 기반의 시퀀스-투-시퀀스 모델이 계산 효율성을 유지하면서도 표준 Transformer 모델보다 번역 품질에서 뛰어나게 할 수 있는가?
• RQ2 분리 가능 주의는 장거리 의존성 및 희귀 토큰 예측을 모델링하는 데서 표준 자기 주의와 비교해 어떻게 성능을 내는가?
• RQ3 모델 스케일링을 통해 파라미터 수를 줄였을 때 성능 향상의 정도는 어느 정도이며, 그리드 서치에 비해 이 스케일링 접근법이 더 효율한가?
• RQ4 공동 표현은 표준 주의 메커니즘에 비해 길이 예측을 더 잘하고, 과소 번역을 줄이는 데 기여하는가?
• RQ5 Reformer 프레임워크는 소규모 및 대규모 번역 벤치마크 모두에 일반화 가능한가?

주요 결과

• IWSLT14 독일-영어, 영어-독일어, IWSLT15 베트남어-영어 번역 작업에서 Reformer-base와 Reformer-fast는 각각 1.3, 0.8, 0.7 BLEU 포인트의 향상을 이룬다.
• 대규모 NIST12 중국-영어 벤치마크에서 Reformer는 Transformer 기준보다 1.9 BLEU 포인트 향상된 성능을 달성한다.
• 체계적인 모델 스케일링을 거친 후, Reformer는 IWSLT14 독일-영어에서 SOTA 대규모 트랜스포머보다 0.7 BLEU 포인트 뛰어나고, NIST12 중국-영어에서는 2.0 BLEU 포인트 뛰어나며, 약 50% 적은 파라미터를 사용한다.
• Reformer 모델은 번역 결과의 길이가 더 적절하게 생성되어 기준 모델 대비 높은 길이 비율을 보이며 과소 번역을 줄인다.
• 원거리 대상 위치 및 저빈도 토큰에 대해 예측 정확도가 유의미하게 높아져, 더 나은 문맥 모델링 및 장거리 의존성 포착 능력을 보여준다.
• 분리 가능 주의의 시각화 결과는 표준 자기 주의의 정적 분포와는 달리, 원천 및 대상 시퀀스 전반에 걸쳐 동적으로 토큰 별로 다른 주의 분포를 보이고 있음을 확인한다.