[논문 리뷰] Multi-layer Representation Fusion for Neural Machine Translation

Qiang Wang, Fuxue Li외 4명|arXiv (Cornell University)|2020. 02. 16.

Natural Language Processing Techniques참고 문헌 27인용 수 46

한 줄 요약

이 논문은 Transformer 기반 NMT에서 모든 스택 층을 밀집하게 연결하는 다층 표현 융합(MLRF)을 도입하여 예측이 하위 레이어 표현을 활용할 수 있도록 세 가지 융합 함수로 가능하게 하고, BLEU 점수 상승과 규제 효과를 제공하며 IWSLT German-English에서 새로운 최첨단 성능을 달성한다.

ABSTRACT

Neural machine translation systems require a number of stacked layers for deep models. But the prediction depends on the sentence representation of the top-most layer with no access to low-level representations. This makes it more difficult to train the model and poses a risk of information loss to prediction. In this paper, we propose a multi-layer representation fusion (MLRF) approach to fusing stacked layers. In particular, we design three fusion functions to learn a better representation from the stack. Experimental results show that our approach yields improvements of 0.92 and 0.56 BLEU points over the strong Transformer baseline on IWSLT German-English and NIST Chinese-English MT tasks respectively. The result is new state-of-the-art in German-English translation.

연구 동기 및 목표

• 신경망 기계 번역에서 정보 손실을 줄이고 학습을 개선하기 위해 하위 층 표현의 사용을 모티브로 삼는다.
• 모든 하위 층 표현에 접근하는 밀집 연결 융합 메커니즘을 제안한다.
• 효과적인 융합을 위한 세 가지 융합 함수(평균 풀링, FNN, 홉이 있는 자기 주의) 를 개발하고 비교한다.
• German-English 및 Chinese-English 번역 작업에서 강력한 Transformer 기준선 대비 이득을 보여준다.
• 임베딩과 어텐션 홉이 성능에 미치는 영향과 정규화 효과를 분석한다

제안 방법

• 모든 쌓인 층에 연결되고 각 타깃 위치 j에 대해 융합 표현 φ(Zj)를 학습하는 융합 층을 도입한다.
• 출력 확률을 최상층에만 의존하지 않고 φ(Zj)에 의존하도록 재정식화한다: Pr(yj|y<j,x)=Softmax(Wo·φ(Zj)+bo).
• 세 가지 융합 전략을 비교한다: (i) {zl j}의 평균 풀링, (ii) 결합 후 FNN로 d-차원의 융합 벡터를 생성하는 방식, (iii) 레이어 임베딩을 포함한 확장된 레이어 표현에 대한 다중 홉 자기 주의로 2D 표현을 형성하는 방식.
• 홉이 있는 자기 주의를 탐구하며, 각 레이어 표현 ˜zl= zl+El에 레이어 임베딩 El을 추가하고, 2계층 FNN을 사용하여 주파(attention energies)와 홉별 가중치를 얻는다.
• 융합은 인코더만, 디코더만, 혹은 양쪽 모두에서 가능하며, 안정적인 학습을 위해 융합 층 뒤에 레이어 노멀라이제이션을 적용한다.
• 3-층/6-층 설정의 Transformer 기반 NMT( German-English 및 Chinese-English )에서 이 접근법을 시연하고 BLEU 향상을 보고한다.

실험 결과

연구 질문

• RQ1 Dense하게 하위 모든 층의 표현을 융합하는 것이 Transformer 기반 NMT에서 top-layer만 예측하는 경우보다 번역 품질을 개선하는가?
• RQ2 가장 성능이 좋은 융합 함수는 무엇이며(평균 풀링, FNN, 자기 주의), 인코더/디코더 중 어느 쪽에서 융합하는가 또는 양쪽 모두에서 융합하는가?
• RQ3 자기 주의 기반 융합의 홉 수와 단어 임베딩 및 레이어 임베딩의 포함이 성능과 학습 안정성에 어떠한 영향을 미치는가?
• RQ4 MLRF가 정규화 효과를 가져와 심층 NMT 모델의 과적합을 줄이는가?
• RQ5 다중 홉 융합 사용 시 레이어 주의의 질적 해석은 무엇인가?

주요 결과

• MLRF는 Transformer 기준선을 개선하여 IWSLT German-English에서 강력한 Transformer 기준선 대비 0.92 BLEU 포인트의 이득을 달성한다.
• MLRF는 기준선 대비 NIST Chinese-English 번역에서 0.56 BLEU 포인트의 이득을 얻는다.
• 디코더 측 융합이 일반적으로 인코더 측 융합보다 성능이 좋으며, 양쪽에서 융합하는 경우에도 융합 함수에 따라 추가 이득이 있을 수 있다.
• 가장 좋은 구성은 인코더 측에서 FNN 기반 융합을, 디코더 측에서 자기 주의 기반 융합을 결합한(Both-FNN-SA) 구성으로, German-English에서 3-layer 기준선을 0.92 BLEU 포인트 상회한다.
• 자기 주의 다중 홉 융합(Dec-SA)은 일관된 이득을 제공하며 홉 수를 어느 정도까지 증가시키면 성능이 개선되다가 NHOP<6를 넘으면 수익이 감소하는 경향이 나타난다.
• 이 방법은 기준선에 비해 과적합을 줄이는 정규화 효과를 보이며, 훈련/검증 다이나믹스 및 드롭아웃 분석에서 확인된다.
• 레이어 주의 시각화는 홉들이 대부분 예측에 대해 고수준의 층에 초점을 맞추고, 이후 홉들은 여러 층에 걸쳐 주의를 분산시켜 각 홉이 포착하는 서로 다른 측면을 반영한다.