[논문 리뷰] Extracting Parallel Sentences with Bidirectional Recurrent Neural Networks to Improve Machine Translation

Francis Grégoire, Philippe Langlais|arXiv (Cornell University)|2018. 06. 13.

Natural Language Processing Techniques참고 문헌 29인용 수 21

한 줄 요약

이 논문은 수작업 특징 또는 외부 자원에 의존하지 않고 다국어 유사 코퍼스에서 병렬 문장 쌍을 추출하기 위해 이방향 순환 신경망(BiRNN) 모델을 제안한다. 병렬 문장 간 유사도를 최대화하는 공유 문장 표현을 학습함으로써, 학습 데이터 증강에 사용될 경우 기계 번역 성능에 상당한 향상을 이룬다.

ABSTRACT

Parallel sentence extraction is a task addressing the data sparsity problem found in multilingual natural language processing applications. We propose a bidirectional recurrent neural network based approach to extract parallel sentences from collections of multilingual texts. Our experiments with noisy parallel corpora show that we can achieve promising results against a competitive baseline by removing the need of specific feature engineering or additional external resources. To justify the utility of our approach, we extract sentence pairs from Wikipedia articles to train machine translation systems and show significant improvements in translation performance.

연구 동기 및 목표

• 노이즈가 많은 유사 코퍼스에서의 데이터 부족 문제를 해결하기 위해 자동으로 병렬 문장 쌍을 추출하는 것.
• 병렬 문장 추출에서 수작업 특징 엔지니어링이나 외부 언어학적 자원이 필요 없도록 하는 것.
• 병렬이 아닌 문장 쌍을 구분할 수 있도록 문장 표현을 학습하는 단일 엔드 투 엔드 신경망 모델을 개발하는 것.
• 추출된 문장 쌍의 유용성을 기계 번역 시스템 향상으로 평가하는 것.
• 위키피디아 기반 유사 코퍼스를 사용하여 다중 언어 쌍에서의 확장성과 효과성을 입증하는 것.

제안 방법

• 모델은 양방향 순환 신경망을 사용하여 소스 문장과 타겟 문장을 공유되는 연속 벡터 표현으로 인코딩한다.
• 학습 중에 부정 샘플링을 활용하여 비병렬 문장 쌍을 생성함으로써 문장 유사도의 대비 학습을 가능하게 한다.
• 진짜 병렬 문장 쌍 간의 유사도를 최대화하고, 부정 쌍의 유사도를 최소화하도록 모델을 훈련한다.
• 문장 표현은 엔드 투 엔드로 학습되며, 이로써 모델이 두 문장이 서로의 번역인지 직접 예측할 수 있다.
• 정렬 특징, 단어 정렬 또는 메타데이터가 필요 없이 원시 문장 쌍을 활용한다.
• 추출된 문장 쌍을 SMT 및 NMT 시스템의 병렬 학습 코퍼스에 추가하여 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 특징 엔지니어링 없이도 단일 엔드 투 엔드 신경망 모델이 유사 코퍼스에서 병렬 문장을 효과적으로 추출할 수 있는가?
• RQ2 기존의 기준 방법 대비 BiRNN 기반 추출 시스템의 추출 품질은 어떻게 비교되는가?
• RQ3 추출된 문장 쌍이 하류 기계 번역 성능에 얼마나 기여하는가?
• RQ4 단일 위키피디아 스타일의 유사 코퍼스만을 사용해도 모델이 저자원 언어 쌍에 일반화 가능한가?
• RQ5 유사도 수준이 낮은 코퍼스에 적용했을 때 이 방법의 탄력성은 어느 정도인가?

주요 결과

• BiRNN 기반 시스템은 노이즈가 많은 병렬 코퍼스에서 경쟁 기준 대비 더 높은 정밀도와 재현율을 달성하며 병렬 문장 추출에서 뛰어난 성능을 보였다.
• 학습 데이터에 150만 개의 추출 문장 쌍을 추가했을 때, SMT의 BLEU 점수는 50만 레퍼런스 시스템 대비 3.71점 향상되었고, NMT의 경우 9.47점 향상되었다.
• 여러 시스템 구성에서 일관된 번역 향상이 관찰되어 추출 데이터의 신뢰성과 품질을 입증했다.
• 도메인 외부 위키피디아 기사 쌍에서도 강력한 성능을 보여, 낮은 유사도 설정에서도 활용 가능성을 시사했다.
• 확장성과 효과성이 입증되었으며, 추가로 더 많은 추출 쌍을 학습 데이터에 포함할수록 성능 향상이 증가했다.
• 이 방법은 탄력적이며 일반화 가능하며, 다중 언어 쌍과 저자원 환경으로의 확장 가능성이 있다.