[논문 리뷰] Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning

Xuebo Liu, Longyue Wang외 4명|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling참고 문헌 62인용 수 11

한 줄 요약

이 논문은 순서-순서 모델에서 인코더 임bedding 레이어를 디코더의 소프트맥스 레이어에 직접 연결하는 새로운 방법인 SurfaceFusion을 제안한다. 이는 双어어휘 임베딩 학습을 향상시켜 성능을 크게 향상시킨다. 실험 결과, 기계 번역, 텍스트 요약, 문법 오류 수정 등 다양한 과제에서 전통적인 인코더 레이어 융합 방식을 능가하며, WMT16 루마니아어-영어 및 WMT14 영어-프랑스어 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Encoder layer fusion (EncoderFusion) is a technique to fuse all the encoder layers (instead of the uppermost layer) for sequence-to-sequence (Seq2Seq) models, which has proven effective on various NLP tasks. However, it is still not entirely clear why and when EncoderFusion should work. In this paper, our main contribution is to take a step further in understanding EncoderFusion. Many of previous studies believe that the success of EncoderFusion comes from exploiting surface and syntactic information embedded in lower encoder layers. Unlike them, we find that the encoder embedding layer is more important than other intermediate encoder layers. In addition, the uppermost decoder layer consistently pays more attention to the encoder embedding layer across NLP tasks. Based on this observation, we propose a simple fusion method, SurfaceFusion, by fusing only the encoder embedding layer for the softmax layer. Experimental results show that SurfaceFusion outperforms EncoderFusion on several NLP benchmarks, including machine translation, text summarization, and grammatical error correction. It obtains the state-of-the-art performance on WMT16 Romanian-English and WMT14 English-French translation tasks. Extensive analyses reveal that SurfaceFusion learns more expressive bilingual word embeddings by building a closer relationship between relevant source and target embedding. Source code is freely available at https://github.com/SunbowLiu/SurfaceFusion.

연구 동기 및 목표

• 인코더 레이어 융합(EncoderFusion)이 시퀀스-투-시퀀스 모델을 향상시키는 이유에 대해 모순되는 결과가 나타나는 이유를 해결하기 위해.
• 특히 인코더 임베딩 레이어를 포함한 개별 인코더 레이어의 역할이 모델 성능 향상에 기여하는 방식을 조사하기 위해.
• 표준 모델이 의미적 및 표면 수준의 특징을 효과적으로 포착하지 못하는 소스 표현 병목 현상(Source representation bottleneck)을 해결하기 위해.
• 가장 정보량이 많은 인코더 레이어에 집중함으로써 기존 EncoderFusion 방법의 더 단순하고 효과적인 대안을 제안하기 위해.
• 직접 인코더 임베딩 레이어를 융합함으로써 표현력 있는 이중어어휘 임베딩 학습을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 각 인코더 레이어가 디코더의 어텐션에 기여하는 정도를 정량적으로 평가하기 위해 세밀한 레이어 어텐션 메커니즘을 도입한다.
• 중간 레이어를 건너뛰고 오직 인코더 임베딩 레이어만 디코더의 소프트맥스 레이어와 융합하는 SurfaceFusion를 제안한다.
• 소스 표현과 타겟 표현 간의 경로를 단축시켜 직접 상호작용을 강화하고 이중어어휘 표현의 정렬을 향상시킨다.
• 디코딩 중에 인코더 임베딩 레이어에 주의를 기울일 수 있도록 학습 가능한 표면 어텐션 모듈을 사용하며, 주 모델과 함께 공동 학습이 가능하도록 한다.
• 제거 실험(ablation studies)와 특이값 분해(SVD) 분석을 수행하여, 일반 모델과 SurfaceFusion 모델 간의 표현 능력과 임베딩 품질을 비교한다.
• 표준 벤치마크를 사용하여 기계 번역, 텍스트 요약, 문법 오류 수정 등 다양한 자연어 처리 과제에서 방법의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 왜 인코더 레이어 융합이 시퀀스-투-시퀀스 모델을 향상시키며, 어떤 인코더 레이어가 이 개선에 가장 기여하는가?
• RQ2 기타 중간 레이어와 비교할 때 인코더 임베딩 레이어의 어텐션 및 표현 능력은 어떠한가?
• RQ3 다양한 중간 레이어를 융합하는 것보다 오직 인코더 임베딩 레이어만 융합하는 것이 더 높은 성능을 낼 수 있는가?
• RQ4 직접 인코더 임베딩 레이어를 융합함으로써 시퀀스-투-시퀀스 모델 내 이중어어휘 임베딩의 품질이 향상될 수 있는가?
• RQ5 소스 표현 병목 현상이 모델 성능에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 기존의 가정과는 달리, 다른 중간 인코더 레이어보다 인코더 임베딩 레이어가 인코더 레이어 융합에 더 핵심적인 역할을 한다. 이는 이전 연구에서 하위 레이어가 가장 정보량이 많다고 여겨졌던 바와 정반대이다.
• 다양한 자연어 처리 과제에서 상위 디코더 레이어가 일관되게 인코더 임베딩 레이어에 더 많은 주의를 기울이는 것으로 나타나, 이 레이어가 표현 학습에서 중심적인 역할을 한다는 것을 시사한다.
• 인코더 임베딩 레이어를 마스킹하면 성능에 심각한 하락이 발생하며, 유창하지만 충실도가 떨어지는(현혹적인) 예측이 발생함으로써 이 레이어의 중요성이 확인된다.
• WMT16 루마니아어-영어 및 WMT14 영어-프랑스어 번역 벤치마크를 포함한 모든 평가 과제에서, SurfaceFusion는 일반 Seq2Seq 모델과 표준 EncoderFusion 모두를 능가하는 성능을 보였다.
• 특이값 분석 결과, SurfaceFusion는 어휘 임베딩에서 특이값의 감쇠 속도를 늦추어 더 균일하게 분포된 표현을 만들어내는 것으로 나타났다.
• 소스 표현과 타겟 표현 간의 경로를 단축시킴으로써 SurfaceFusion는 이중어어휘 임베딩의 정렬을 향상시켜 다국어 간 전이 성능과 모델의 충실도를 향상시켰다.