[논문 리뷰] A Deep Neural Network Approach To Parallel Sentence Extraction

Francis Grégoire, Philippe Langlais|arXiv (Cornell University)|2017. 09. 28.

Natural Language Processing Techniques참고 문헌 15인용 수 18

한 줄 요약

이 논문은 수동적 특징 공학 없이 비교 가능한 단일 언어 코퍼스에서 병렬 문장 쌍을 추출하기 위해 시아모이드 양방향 RNN을 사용하는 엔드 투 엔드 딥 뉴럴 네트워크 접근법을 제안한다. 이 방법은 강력한 베이스라인 대비 뚜렷한 성능 향상을 이룩하며, 위키피디아에서 추출한 병렬 문장 쌍을 통한 증강을 통해 SMT 시스템의 BLEU 점수를 4.7 포인트 향상시킨다.

ABSTRACT

Parallel sentence extraction is a task addressing the data sparsity problem found in multilingual natural language processing applications. We propose an end-to-end deep neural network approach to detect translational equivalence between sentences in two different languages. In contrast to previous approaches, which typically rely on multiples models and various word alignment features, by leveraging continuous vector representation of sentences we remove the need of any domain specific feature engineering. Using a siamese bidirectional recurrent neural networks, our results against a strong baseline based on a state-of-the-art parallel sentence extraction system show a significant improvement in both the quality of the extracted parallel sentences and the translation performance of statistical machine translation systems. We believe this study is the first one to investigate deep learning for the parallel sentence extraction task.

연구 동기 및 목표

• 대규모 비교 가능한 코퍼스에서 고품질의 병렬 문장 쌍을 자동으로 추출하여 다국어 NLP에서의 데이터 희소성 문제를 해결한다.
• 기존 병렬 문장 추출 시스템에서 수작업 특징과 다중 모델 의존성을 제거한다.
• 원시 문장 쌍에서 직접 문장 수준의 번역 등가성을 학습할 수 있는 엔드 투 엔드로 훈련 가능한 딥 뉴럴 프레임워크를 개발한다.
• 위키피디아 기사와 같은 도메인 외부 비교 가능한 코퍼스에서의 방법의 효과를 평가하고, 이를 기반으로 하위 SMT 시스템에 미치는 영향을 분석한다.
• 지속적인 문장 임베딩을 통해 딥 뉴럴 네트워크가 기존의 특징 기반 방법보다 병렬 문장 추출에서 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 원천 언어 및 목표 언어 문장을 연속적인 벡터 표현으로 인코딩하기 위해 시아모이드 양방향 순환 신경망(BiRNN) 아키텍처를 사용한다.
• 변동 길이의 문장에서 장거리 의존성을 포착하기 위해 LSTM 또는 GRU 활성화 함수를 적용한다.
• 각 문장 쌍의 인코딩 표현 간 코사인 유사도 측정을 통해 번역 등가성을 판단한다.
• 비슷한 쌍과 비유사 쌍을 구분하기 위해 무작위 음성 샘플을 사용하여 대조 손실(constrastive loss)을 기반으로 엔드 투 엔드로 훈련한다.
• 외부 자원(예: 단어 정렬, 双어 사전, 메타데이터 등)이 필요 없이 원시 문장 쌍만으로도 작동한다.
• 모델는 위키피디아 기사에서 문장 쌍을 추출하고, 이를 통계적 기계 번역을 위한 병렬 훈련 세트에 통합하여 평가된다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 명시적 특징 공학 없이도 외부 언어 자원 없이 병렬 문장 쌍을 식별할 수 있는가?
• RQ2 엔드 투 엔드 딥 뉴럴 모델의 성능은 기존 최고 수준의 특징 기반 시스템과 비교해 어떻게 되는가?
• RQ3 추출된 병렬 데이터가 하위 통계 기반 기계 번역 시스템의 성능에 얼마나 기여하는가?
• RQ4 Europarl에서 훈련하고 위키피디아 기사에서 테스트할 경우, 모델의 도메인 이동에 대해 얼마나 강건한가?
• RQ5 재학습 없이도 다양한 언어 쌍과 도메인에 대해 일반화 가능한가?

주요 결과

• 제안된 BiRNN 모델은 위키피디아에서 추출한 198만 개의 문장 쌍을 사용해 SMT 시스템의 BLEU 점수를 기준선 대비 4.7 포인트 향상시켰다.
• 상위 50만 개의 높은 점수 문장 쌍만을 사용했을 때도 BiRNN 기반 시스템은 BLEU 점수 25.0을 기록하여 기준선보다 0.1 포인트 높게 성과를 냈다.
• 모델은 1,987,769개의 병렬 문장 쌍을 추출했으며, 이는 기준선 대비 상당히 높은 수준의 추출 정확도를 의미한다. 상위 순위 쌍들 간 77%의 겹침을 보이며 고품질 추출임을 시사한다.
• Munteanu와 Marcu(2005) 및 Smith 등(2010)의 강력한 기준선 시스템을 뛰어넘었으며, 문장 쌍 추출의 정밀도와 재현율 모두에서 뛰어난 성능을 보였다.
• Europarl에서 훈련하고 위키피디아에서 테스트한 경우에도 도메인 이동에 대해 강건한 일반화 성능을 보였으며, 이는 newstest2013에서의 성능 향상으로 입증되었다.
• 이 연구는 딥 러닝을 병렬 문장 추출 작업에 적용한 최초의 사례로, 문장 수준 번역 등가성에 대한 엔드 투 엔드, 특징 없는 학습의 새로운 벤치마크를 설정했다.