[논문 리뷰] Translation Quality Estimation using Recurrent Neural Network

Raj Nath Patel, M. Sasikumar|arXiv (Cornell University)|2016. 10. 16.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 다음 단어 대신 'OK' 또는 'BAD' 레이블을 예측하는 수정된 순환 신경망 언어 모델(RNN-LM)을 사용하여 언어에 종속되지 않은 단어 및 어구 수준 번역 품질 평가 시스템을 제안한다. 이 방법은 사전 훈련, 双어 특징, 서브 레이블링을 통해 클래스 불균형 문제를 다루며, WMT16 공동 과제 테스트 세트에서 BAD 단어의 F1 스코어는 41.92, BAD 어구의 F1 스코어는 50.31을 기록한다.

ABSTRACT

This paper describes our submission to the shared task on word/phrase level Quality Estimation (QE) in the First Conference on Statistical Machine Translation (WMT16). The objective of the shared task was to predict if the given word/phrase is a correct/incorrect (OK/BAD) translation in the given sentence. In this paper, we propose a novel approach for word level Quality Estimation using Recurrent Neural Network Language Model (RNN-LM) architecture. RNN-LMs have been found very effective in different Natural Language Processing (NLP) applications. RNN-LM is mainly used for vector space language modeling for different NLP problems. For this task, we modify the architecture of RNN-LM. The modified system predicts a label (OK/BAD) in the slot rather than predicting the word. The input to the system is a word sequence, similar to the standard RNN-LM. The approach is language independent and requires only the translated text for QE. To estimate the phrase level quality, we use the output of the word level QE system.

연구 동기 및 목표

• 기본 번역문 없이 기계 번역에서 단어/어구의 정확성 여부를 예측할 수 있는 언어에 종속되지 않는 품질 평가 시스템을 개발하기 위해.
• 번역 품질 평가에서 'OK' 레이블이 훨씬 더 많기 때문에 발생하는 불균형한 클래스 분포 문제를 해결하기 위해.
• RNN 기반 모델에 원어 및 목표어 언어의 양어적 맥락을 통합하여 성능을 향상시키기 위해.
• 사전 훈련, 서브 레이블링, 모델 깊이의 효과가 품질 평가 성능에 미치는 영향을 평가하기 위해.
• WMT16 공동 과제의 단어 및 어구 수준 품질 평가에 경쟁력 있는 시스템을 제출하기 위해.

제안 방법

• RNN-LM 아키텍처를 수정하여 문맥 창의 중심 단어에 대해 다음 단어 대신 'OK/BAD' 레이블을 예측하도록 한다.
• 목표 단어를 중심으로 고정된 크기(예: 3단어)의 문맥 창을 사용하며, 문장 경계에서는 팞딩을 적용한다.
• 순서적 의존성과 장거리 맥락을 포착하기 위해 LSTM 및 GRU 변형을 모두 구현한다.
• 단어 임베딩을 입력 표현으로 사용하며, 일반어 또는 양어 데이터에서 사전 훈련하여 일반화 능력을 향상시킨다.
• 'OK'와 'BAD' 레이블 간의 불균형을 더 잘 다루기 위해 서브 레이블(BAD_B, BAD_I, BAD_E 등)을 도입한다.
• 조기 정지와 L2 정규화를 적용한 교차 엔트로피 손실 및 확률적 경사 하강법을 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 수정된 RNN-LM 아키텍처가 번역문만을 입력으로 사용할 때 단어 수준의 번역 품질(OK/BAD)을 효과적으로 예측할 수 있는가?
• RQ2 사전 훈련과 서브 레이블링 기법이 불균형한 품질 평가 데이터에서 성능을 향상시키는가?
• RQ3 원어 및 목표어 맥락을 통합한 양어 모델이 단어 모델보다 정확도가 높은가?
• RQ4 이 작업에서 다양한 RNN 변형(LSTM 대비 GRU)과 모델 깊이(깊은 대비 浅은)의 성능은 어떻게 비교되는가?
• RQ5 단어 수준의 품질 평가 모델을 어구 수준 평가로 효과적으로 확장할 수 있는가?

주요 결과

• GRU 기반 모델이 LSTM 기반 모델보다 우수했으며, 사전 훈련과 서브 레이블링을 적용했을 때 BAD 단어의 F1 스코어는 49.61, BAD 어구의 F1 스코어는 77.20을 기록했다.
• 사전 훈련이 모델 성능을 크게 향상시켰으며, GRU 기반 모델의 BAD 단어 F1 스코어가 사전 훈련 없이 45.70에서 사전 훈련 적용 시 49.61로 상승했다.
• 서브 레이블링 도입으로 클래스 불균형 문제를 완화시켜, 기준 모델 대비 BAD 레이블의 F1 스코어를 최대 3.5%p 향상시켰다.
• 양어 모델(원어 및 목표어 맥락을 모두 사용)은 항상 단어 모델보다 뛰어났으며, 이는 다국어 맥락이 품질 평가 성능을 향상시킨다는 것을 시사한다.
• 최종 제출 시스템(GRU + 사전 훈련 + 서브 레이블링)은 WMT16 Test2 세트에서 BAD 단어의 F1 스코어가 41.92, BAD 어구의 F1 스코어가 50.31로, CRF 기준선(36.82 및 40.14)을 초월했다.
• 깊은 LSTM 모델은 얕은 모델보다 성능이 열 劣했으며, 깊은 아키텍처에 필요한 훈련 데이터가 부족했기 때문일 것이다.