[논문 리뷰] Deep Neural Machine Translation with Weakly-Recurrent Units

Mattia Antonino Di Gangi, Marcello Federico|arXiv (Cornell University)|2018. 05. 10.

Natural Language Processing Techniques참고 문헌 30인용 수 11

한 줄 요약

이 논문은 훈련 효율성과 번역 품질을 향상시키기 위해 레이어 정규화와 멀티헤드 어텐션을 약한 순환 단위에 통합한 단순 순환 NMT(SR-NMT)를 제안한다. WMT14 En-De에서 LSTM 기반 GNMT보다 높은 BLEU 점수를 기록하면서도 단일 GPU에서 훈련 속도가 2배 빠르며, 최적화된 순환 단위가 표준 LSTM보다 훨씬 낮은 계산 비용으로도 슈퍼어워레이션을 달성할 수 있음을 보여준다.

ABSTRACT

Recurrent neural networks (RNNs) have represented for years the state of the art in neural machine translation. Recently, new architectures have been proposed, which can leverage parallel computation on GPUs better than classical RNNs. Faster training and inference combined with different sequence-to-sequence modeling also lead to performance improvements. While the new models completely depart from the original recurrent architecture, we decided to investigate how to make RNNs more efficient. In this work, we propose a new recurrent NMT architecture, called Simple Recurrent NMT, built on a class of fast and weakly-recurrent units that use layer normalization and multiple attentions. Our experiments on the WMT14 English-to-German and WMT16 English-Romanian benchmarks show that our model represents a valid alternative to LSTMs, as it can achieve better results at a significantly lower computational cost.

연구 동기 및 목표

• 표준 LSTM과 GRU를 초월하여 순환 단위를 최적화함으로써 순환 신경망 기반 기계번역(NMT)의 효율성과 성능을 향상시키는 것.
• 레이어 정규화와 멀티헤드 어텐션과 같은 현대적 구성 요소로 강화된 약한 순환 단위가 더 복잡한 비순환 아키텍처의 성능을 따라잡거나 뛰어넘을 수 있는지 조사하는 것.
• 최신 LSTM 기반 모델인 구글의 GNMT와 비교해 번역 품질을 유지하거나 향상시키면서도 훈련 비용을 줄이는 것.
• 핵심 아키텍처 구성 요소인 레이어 정규화, 멀티어텐션, 하이웨이 연결의 기여도를 평가하는 것.

제안 방법

• 모델은 훈련 효율성을 높이기 위해 설계된 단순 순환 유닛(SRU)의 수정된 버전을 사용한다. 이는 단순하고 빠르며 약한 순환성을 가지는 RNN 변종이다.
• 레이어 정규화는 층 간의 입력 분포 변화를 줄여 훈련의 안정성과 속도를 향상시키기 위해 적용된다.
• 멀티헤드 어텐션은 장거리 의존성 모델링을 향상시키고 더 rich한 맥락 표현을 포착하기 위해 SRU 유닛에 통합된다.
• 하이웨이 연결은 원래 SRU 구조에서 유지되어 기울기 흐름을 촉진하고 깊은 아키텍처를 가능하게 한다.
• 모델은 표준 순서-순서 학습 기반 어텐션과 함께 훈련되며, 모든 실험은 단일 GPU에서 수행된다.
• 모델은 BLEU 점수와 훈련 시간을 지표로 WMT14 영어-독어 및 WMT16 영어-루마니아어 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 레이어 정규화와 멀티헤드 어텐션로 강화된 약한 순환 단위가 번역 품질과 훈련 효율성 측면에서 표준 LSTM 기반 NMT 모델을 능가할 수 있는가?
• RQ2 레이어 정규화와 멀티헤드 어텐션가 SR-NMT 모델의 성능에 개별적으로 및 함께 기여하는 방식은 어떠한가?
• RQ3 최적화된 구성 요소를 갖춘 순환 아키텍처가 트랜스포머나 ConvS2S와 같은 비순환 모델의 성능을 따라잡거나 뛰어넘을 수 있는가?
• RQ4 제안된 아키텍처는 최신 LSTM 시스템에 비해 더 적은 계산 자원을 사용하면서도 강력한 성능을 유지하는가?

주요 결과

• 8층을 가진 SR-NMT는 WMT14 영어-독어 벤치마크에서 구글의 GNMT(8층 LSTM)를 능가하며, BLEU 점수 25.04를 기록했다. GNMT의 보고된 점수 25.16보다 약간 낮지만, 단일 K80 GPU에서 12일간 훈련된 데 반해 GNMT는 96개의 K80 GPU에서 6일간 훈련되었다.
• 최고 성능을 낸 SR-NMT 모델(9층)은 BLEU 점수 25.04를 기록했으며, 이는 더 적은 층 수와 낮은 계산 능력에도 불구하고 15층의 컨volutional 모델보다 0.12점 낮을 뿐이었다.
• WMT16 영어-루마니아어 벤치마크에서 SR-NMT는 6층으로 BLEU 점수 29.04를 기록했으며, WMT16 공동 과제 우승 시스템을 거의 1 BLEU 포인트 뛰어넘었다.
• 제거 실험 결과, 하이웨이 연결 제거가 가장 큰 성능 하락(-2.14 BLEU 포인트)을 유발했고, 이는 멀티어텐션(-1.42)과 레이어 정규화(-1.02)의 순서였다. 이는 이 구성 요소들이 훈련 안정성과 정확성에 핵심적인 역할을 한다는 것을 시사한다.
• 레이어 정규화와 하이웨이 연결을 동시에 제거하면 기울기 폭발로 인해 훈련이 실패하는 것으로 나타났으며, 이는 수렴에 있어 이 두 요소의 중요성을 강조한다.
• 레이어 정규화, 멀티어텐션, 하이웨이 연결의 기여도는 약간의 덧셈적 성질을 보이며, 이는 서로 다른 최적화 및 표현 문제를 해결한다는 것을 의미한다.