[논문 리뷰] Learning Semantic Representations for the Phrase Translation Model

Jianfeng Gao, Xiaodong He외 2명|arXiv (Cornell University)|2013. 11. 28.

Natural Language Processing Techniques참고 문헌 48인용 수 28

한 줄 요약

이 논문은 다층 신경망을 사용하여 원천 및 대상 어휘를 저차원 잠재 의미 공간에 투영함으로써 의미 기반 어휘 번역 모델을 제안한다. 여기서 번역 점수는 벡터 표현 간의 거리에 의해 결정된다. 영-프랑스 및 독-영 번역 작업에서 평가된 모델은 번역 품질의 엔드 투 엔드 최적화를 통해 문장 기반 기계 번역을 0.7–1.0 BLEU 포인트 향상시킨다.

ABSTRACT

This paper presents a novel semantic-based phrase translation model. A pair of source and target phrases are projected into continuous-valued vector representations in a low-dimensional latent semantic space, where their translation score is computed by the distance between the pair in this new space. The projection is performed by a multi-layer neural network whose weights are learned on parallel training data. The learning is aimed to directly optimize the quality of end-to-end machine translation results. Experimental evaluation has been performed on two Europarl translation tasks, English-French and German-English. The results show that the new semantic-based phrase translation model significantly improves the performance of a state-of-the-art phrase-based statistical machine translation sys-tem, leading to a gain of 0.7-1.0 BLEU points.

연구 동기 및 목표

• 의미 표현을 통합하여 문장 기반 통계적 기계 번역을 향상시키기 위해.
• 낮은 차원의 공간에서 번역 유사성을 반영하는 어휘 쌍의 연속적 벡터 표현을 학습하기 위해.
• 병렬 코퍼스에서 엔드 투 엔드 훈련을 통해 번역 성능을 직접 최적화하기 위해.
• 신경망을 통한 의미 유사성 모델링을 통해 희박한 어휘표 기능에 대한 의존도를 줄이기 위해.
• 언어학적 의미를 포착하는 의미 있는 어휘 임베딩을 학습하여 번역 품질을 향상시키기 위해.

제안 방법

• 다층 신경망을 사용하여 원천 및 대상 어휘를 공유되는 저차원 연속 벡터 공간에 투영하기 위해.
• 정렬된 어휘 쌍 간의 거리를 최소화하도록 병렬 문장 쌍에서 네트워크를 훈련시켜 번역 오차를 최소화하기 위해.
• 학습된 어휘 벡터 간의 L2 거리를 어휘 번역 모델의 번역 점수로 사용하기 위해.
• 병렬 훈련 데이터에서 역전파를 사용하여 단어 및 어휘 임베딩을 함께 학습하기 위해.
• 학습된 의미 표현을 기존의 문장 기반 기계 번역 시스템에 통합하기 위해.
• BLEU 점수로 측정된 번역 품질을 최대화하기 위해 모델을 엔드 투 엔드로 최적화하기 위해.

실험 결과

연구 질문

• RQ1 어휘 쌍의 조밀한 의미 표현을 학습함으로써 문장 기반 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 잠재 의미 공간에서의 벡터 공간 거리가 어휘 번역 점수를 모델링하는 데 얼마나 효과적인가?
• RQ3 신경망 기반 어휘 임베딩의 엔드 투 엔드 훈련이 기존 어휘표 방법보다 더 나은 번역 품질을 이끌어내는가?
• RQ4 의미 표현을 통해 얼마나 큰 희박한 어휘표의 필요성을 줄일 수 있는가?
• RQ5 학습된 임베딩은 영-프랑스 및 독-영과 같은 서로 다른 언어 조합에서 어떻게 일반화되는가?

주요 결과

• 제안된 의미 기반 어휘 번역 모델은 최첨단 문장 기반 통계적 기계 번역 시스템보다 0.7–1.0 BLEU 포인트 향상된 성능을 달성한다.
• 공유된 잠재 공간에서 의미 있는 어휘 표현을 학습함으로써 모델은 번역 품질을 크게 향상시킨다.
• 어휘 임베딩을 위한 신경망 투영을 사용함으로써 기존 어휘표 방법에 비해 더 나은 정렬과 번역 점수를 달성한다.
• 성능 향상은 영-프랑스 및 독-영과 같은 두 가지 다른 언어 조합에서 일관되게 나타난다.
• 모델의 엔드 투 엔드 훈련은 BLEU 점수를 직접 최적화하므로 더 효과적이고 의미적인 어휘 번역을 가능하게 한다.
• 결과는 깊이 신경망을 통해 학습된 의미 표현이 통계적 기계 번역 시스템을 효과적으로 향상시킬 수 있음을 보여준다.