[논문 리뷰] Context in Neural Machine Translation: A Review of Models and Evaluations

Andréi Popescu-Belis|arXiv (Cornell University)|2019. 01. 25.

Natural Language Processing Techniques참고 문헌 53인용 수 23

한 줄 요약

이 논문은 2017–2018년 동안 신경 기계 번역(NMT) 분야에서의 발전을 검토하며, 특히 문맥적 일관성과 논의 수준의 현상(예: 지시어, 어휘 일관성)을 고려한 번역 품질 향상 방법에 초점을 맞춘다. 연구는 문맥 인식 모델이 지시어 및 어휘 의미 해석 분류 작업에서 기준 모델 대비 최대 20%p 높은 성능을 보이며, BLEU 점수는 근소한 향상만을 보여, n-gram 메트릭을 넘어서 논의 수준의 평가가 필요하다는 점을 시사한다.

ABSTRACT

This review paper discusses how context has been used in neural machine translation (NMT) in the past two years (2017-2018). Starting with a brief retrospect on the rapid evolution of NMT models, the paper then reviews studies that evaluate NMT output from various perspectives, with emphasis on those analyzing limitations of the translation of contextual phenomena. In a subsequent version, the paper will then present the main methods that were proposed to leverage context for improving translation quality, and distinguishes methods that aim to improve the translation of specific phenomena from those that consider a wider unstructured context.

연구 동기 및 목표

• 2017–2018년도 신경 기계 번역(NMT) 분야의 최신 기술 동향을 문맥 모델링에 중점을 두고 분석하기.
• NMT 시스템이 지시어 해석, 어휘 일관성, 논의 구조와 같은 논의 수준 현상 처리에 얼마나 효과적인지 평가하기.
• 현재 평가 관행의 격차를 특정화하기, 특히 텍스트 수준의 일관성 부족에 대한 증거가 늘어나는 데도 불구하고 논의 수준 평가 메트릭의 부족한 사용에 주목하기.
• 미래의 문맥 강화 NMT 모델 섹션을 위한 기초를 마련하기, 비정형적 문맥 사용과 구조화된 논의 처리 간의 차이를 명확히 하기.

제안 방법

• 2017–2018년 동안의 NMT 평가 연구를 체계적으로 검토하여 메트릭 유형(예: 자동화된 메트릭(예: TER), 인간 기반 평가(예: 수정 편집, 절대 평가), 대조 쌍 평가)으로 분류하기.
• 특정 현상(예: 지시어의 전행어 역할 확인)에 대해 모델 행동을 평가하기 위해 대조 문장 쌍의 사용 분석하기.
• 논의 수준 메트릭(예: DiscoTKparty, RST 파싱 트리 기반 측정)을 평가하여 인간 평가와의 상관관계를 분석하고, SMT 출력에 대한 인간 평가와의 관련성 검토하기.
• 텍스트 수준의 품질에 대한 NMT와 SMT 비교 연구에서의 통합된 결과를 종합하여, 일관성과 통일성에 대한 인간 평가 결과 분석하기.
• 문장 수준을 초월한 문맥을 확장하는 최신 NMT 아키텍처 검토하기, 비정형적 문맥 사용 모델과 구조화된 논의 분석을 수행하는 모델 간의 차이를 구분하기.
• WMT 공동 과제 및 도메인 특화 코퍼스 데이터를 활용하여, 어휘 의미 해석 및 논의 연결어와 같은 언어 현상에 대한 모델 행동 평가하기.

실험 결과

연구 질문

• RQ1 표준 메트릭(예: BLEU)이 포착하지 못하는 NMT 시스템의 한계를 논의 수준 평가 메트릭이 어떻게 드러내는가?
• RQ2 문맥 인식 NMT 모델이 지시어 해석 및 어휘 일관성과 같은 논의 수준 현상에서 번역 품질을 얼마나 향상시키는가?
• RQ3 단일 문장이 아닌 전체 문서를 평가할 경우 NMT와 인간 번역 품질 간 격차는 어느 정도인가?
• RQ4 문맥 민감 현상에 대해 인간 평가 품질이 크게 향상되었음에도 불구하고 BLEU 점수는 근소한 향상 뿐인 이유는 무엇인가?
• RQ5 비정형적 문맥을 사용하는 NMT 모델과 구조화된 논의 분석을 수행하는 모델 간의 주요 아키텍처 및 방법론적 차이는 무엇인가?

주요 결과

• 지시어 번역 작업에서 문맥 인식 NMT 모델은 전행어가 이전 문장에 있을 경우 기준 모델 대비 최대 20%p 높은 성능을 보이며 뛰어난 성능을 발휘한다.
• 문맥이 통합되었을 때 BLEU 점수는 근소한 향상 뿐이므로, 표준 자동 평가 메트릭이 논의 수준의 품질 향상을 포착하지 못한다는 점을 시사한다.
• 텍스트 수준의 인간 평가 결과는 NMT와 인간 번역 간 통계적으로 유의미한 차이를 드러내며, NMT가 여전히 일관성과 통일성 문제를 겪고 있음을 시사한다.
• DiscotKparty와 같은 논의 수준 평가 메트릭은 SMT 출력에 대한 인간 평가와 양의 상관관계를 보이지만, 그들의 관련성에도 불구하고 NMT 시스템에 아직 적용되지 않은 상태이다.
• ZH/EN 뉴스 번역 연구에서 전체 텍스트 평가 결과 전문 번역가들이 인간 번역과 NMT 출력을 신뢰성 있게 구분할 수 있음을 확인하였으며, 이는 여전히 텍스트 수준의 한계가 존재함을 시사한다.
• NMT 시스템이 문장 수준 번역에서는 뛰어난 성능을 보이지만, 여전히 어휘 일관성과 지시어 해석에서 성능이 떨어지는 경향이 증거로 나타나고 있다.