[논문 리뷰] Neural Reranking Improves Subjective Quality of Machine Translation: NAIST at WAT2015

Graham Neubig, Makoto Morishita외 1명|arXiv (Cornell University)|2015. 10. 18.

Natural Language Processing Techniques참고 문헌 22인용 수 40

한 줄 요약

이 논문은 문법적 정확도와 문법 기반 통계적 기계 번역(SMT) 출력의 주관적 품질을 향상시키기 위해 신경 기계 번역(NMT) 재정렬을 사용하는 것을 제안한다. 최신 SMT 시스템에서 생성한 n-best 가설들을 주목적 기반 NMT 모델을 사용해 재정렬함으로써, 자동 평가(BLEU, RIBES)와 수동 평가 모두에서 유의미한 향상을 이룩하였다. 주로 어순 재정렬, 서술어 동사의 삽입/삭제, 병렬 구조 오분석, 동사 동일어 오류 등의 문법 오류를 수정함으로써 이루어졌으며, 어휘 선택 향상은 제한적이었다.

ABSTRACT

This year, the Nara Institute of Science and Technology (NAIST)'s submission to the 2015 Workshop on Asian Translation was based on syntax-based statistical machine translation, with the addition of a reranking component using neural attentional machine translation models. Experiments re-confirmed results from previous work stating that neural MT reranking provides a large gain in objective evaluation measures such as BLEU, and also confirmed for the first time that these results also carry over to manual evaluation. We further perform a detailed analysis of reasons for this increase, finding that the main contributions of the neural models lie in improvement of the grammatical correctness of the output, as opposed to improvements in lexical choice of content words.

연구 동기 및 목표

• 신경 재정렬로 인한 자동 평가 지표 향상이 인간 평가 기반 번역 품질 향상으로 이어지는지 조사하기 위해.
• 신경 재정렬이 수정하는 특정 번역 오류 유형, 특히 문법 오류와 어휘 오류 간의 차이를 분석하기 위해.
• n-best 목록 크기가 재정렬 성능에 미치는 영향을 평가하고 포화점(포화 상태)을 식별하기 위해.

제안 방법

• 문법 기반 SMT 시스템(NAIST WAT2014)을 기준선으로 사용하여 네 가지 언어 쌍(ja-en, en-ja, ja-zh, zh-ja)에 대해 n-best 번역 가설을 생성한다.
• 동일한 병렬 데이터를 기반으로 주목적 기반 신경 기계 번역 모델을 훈련시켜, NMT의 가능도를 특성으로 포함한 로그선형 모델을 사용해 n-best 가설을 재정렬한다.
• 재정렬 과정은 NMT 생성 문장 가능도, BLEU 점수, 언어 모델 점수를 포함한 특성들을 사용하는 로그선형 모델을 활용하며, MERT를 통해 최적화된다.
• 신경 모델은 양방향 LSTMs를 사용해 소스 문장을 인코딩하고, 소스 은닉 상태에 대한 소프트 어텐션을 활용해 타겟 단어를 순차적으로 생성한다.
• 어텐션 메커니즘은 소스 은닉 상태의 가중 평균을 계산해 소스 단어와 타겟 단어 간의 정렬을 가능하게 한다.
• 실험은 자동 평가 및 수동 평가 점수에 미치는 영향을 평가하기 위해 n-best 목록 크기를 1에서 1000까지 다양하게 설정하여 수행된다.

실험 결과

연구 질문

• RQ1 신경 재정렬은 BLEU와 같은 자동 평가 지표 향상 외에도 번역 품질에 대한 주관적 인간 평가 향상에 기여하는가?
• RQ2 신경 재정렬이 가장 효과적으로 수정하는 번역 오류 유형은 문법 오류인지 어휘 오류인지?
• RQ3 n-best 목록 크기가 자동 평가 및 수동 평가 성능에 미치는 영향은 어떠한가?
• RQ4 재정렬된 출력에서 신경 모델이 문법 정확도 향상에 얼마나 기여하는가, 어휘 정확도 향상과 비교해보면?
• RQ5 실용적인 n-best 목록 크기에서 신경 재정렬의 성능 향상이 포화 상태에 도달하는가, 아니면 향후 더 큰 향상 여지가 있는가?

주요 결과

• 신경 재정렬은 BLEU와 RIBES 점수를 유의미하게 향상시켰으며, 네 언어 쌍 전반에서 성과 향상이 관찰되어 자동 평가 지표 향상과 인간 평가 기반 품질 향상 간의 상관관계를 확인하였다.
• 수동 평가 결과, 신경 재정렬이 주관적 품질을 향상시켰으며, 대부분의 향상은 어휘 선택이 아닌 문법 정확도 향상 덕분이었다.
• 가장 흔히 수정된 오류 유형은 어순 재정렬(예: 잘못된 단어 순서), 서술어 동사 삽입/삭제, 병렬 구조 오분석, 동사 동일어 오류였다.
• 신경 모델은 SMT 파서가 오류를 일으킨 경우에도 병렬 명사구나 주어-동사 일치 등의 문법적 구조를 정확히 유지함으로써 문법 정확도를 향상시켰다.
• 어휘 선택은 재정렬 과정에서 대부분 악화되었으며, 4건의 악화가 2건의 향상보다 더 많았다. 이는 모델이 더 흔한 단어를 선호하기 때문이었는데, 예를 들어 'radiation heat'를 'radiant heat'보다 우선시하였다.
• n-best 목록 크기를 늘일수록 성능 향상은 약간의 로그선형 관계를 보였으며, 1000개의 가설조차도 포화 상태에 도달하지 않았다. 이는 더 큰 목록 크기 또는 직접적인 신경 디코딩을 통해 추가 향상이 가능함을 시사한다.