[논문 리뷰] Refining Source Representations with Relation Networks for Neural Machine Translation

Wen Zhang, Jiawei Hu외 2명|arXiv (Cornell University)|2017. 09. 12.

Natural Language Processing Techniques참고 문헌 25인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT)에 관계 네트워크(RNs)를 통합하여 상호 단어 간 관계를 모델링하고 RNN 히든 상태의 기억 상실 문제를 완화함으로써 소스 표현 학습을 향상시키는 방법을 제안한다. 쌍별 관계를 통해 소스 표현을 개선하고 이를 어텐션 메커니즘에 공급함으로써, 핵심 인코더-디코더 아키텍처를 변경하지 않고도 두 개의 중국어-영어 번역 데이터셋에서 강력한 베이스라인보다 유의미한 성능 향상을 달성한다.

ABSTRACT

Although neural machine translation (NMT) with the encoder-decoder framework has achieved great success in recent times, it still suffers from some drawbacks: RNNs tend to forget old information which is often useful and the encoder only operates through words without considering word relationship. To solve these problems, we introduce a relation networks (RN) into NMT to refine the encoding representations of the source. In our method, the RN first augments the representation of each source word with its neighbors and reasons all the possible pairwise relations between them. Then the source representations and all the relations are fed to the attention module and the decoder together, keeping the main encoder-decoder architecture unchanged. Experiments on two Chinese-to-English data sets in different scales both show that our method can outperform the competitive baselines significantly.

연구 동기 및 목표

• 인코딩 중 장거리 정보를 잊는 문제를 겪는 RNN 기반 인코더의 한계를 해결하기 위해.
• 기본 NMT 인코더에서 단어 간 관계를 명시적으로 모델링하지 못하는 문제를 극복하기 위해.
• 단어 간 국소적 근접 맥락과 전역적 쌍별 관계를 모두 포착함으로써 소스 표현 품질을 향상시키기 위해.
• 표준 인코더-디코더 프레임워크를 유지하면서 외부 관계 모델링을 통해 표현 학습을 향상시키기 위해.
• 다양한 규모의 중국어-영어 번역 벤치마크에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 인코더 이후에 관계 네트워크(RN) 모듈을 통합하여 국소적 이웃과 쌍별 관계를 모두 활용해 소스 단어 표현을 개선한다.
• RN을 사용해 소스 단어 간 모든 쌍 간의 관계를 계산하여 국소 맥락을 초월한 구조적 종속성을 포착한다.
• 각 단어의 표현을 이웃 정보와 계산된 관계 정보로 보강한다.
• 개선된 소스 표현과 모든 쌍별 관계를 어텐션 메커니즘과 디코더에 공급한다.
• 원래의 NMT 아키텍처를 유지하며, 관계 특징을 통합함으로써 인코더 출력만을 수정한다.
• 표준 NMT 목표함수를 사용해 엔드 투 엔드로 훈련하며, RN 파라미터를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 상호 단어 간 관계를 모델링하면 NMT에서 소스 표현 품질이 향상되는가?
• RQ2 관계 네트워크의 통합이 장거리 시퀀스에서 RNN 히든 상태의 기억 상실 문제를 완화하는가?
• RQ3 관계 특징이 저자원 및 고자원 중국어-영어 번역 작업에서 번역 성능을 얼마나 향상시키는가?
• RQ4 핵심 아키텍처를 수정하지 않고도 관계 모델링을 표준 NMT에 효과적으로 통합할 수 있는가?
• RQ5 개선된 표현은 어텐션 정렬과 디코딩 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 규모가 다른 두 개의 중국어-영어 번역 데이터셋에서 경쟁력 있는 베이스라인보다 유의미하게 뛰어난 성능을 보였다.
• 관계 네트워크의 통합은 국소적 및 전역적 단어 관계를 모두 포착함으로써 소스 표현 학습을 향상시켰다.
• 관계 모델링을 통해 유용한 장거리 종속성을 유지함으로써 RNN 인코더의 기억 상실 문제를 효과적으로 완화했다.
• 다양한 크기의 데이터셋에서 일관된 성능 향상이 나타나 데이터 규모에 대해 강건함을 입증했다.
• 어텐션 메커니즘이 풍부한 표현에서 유의미한 이점을 얻어, 더 나은 정렬과 번역 품질을 달성했다.