[논문 리뷰] On the Integration of LinguisticFeatures into Statistical and Neural Machine Translation

Eva Vanmassenhove|arXiv (Cornell University)|2020. 03. 31.

Natural Language Processing Techniques참고 문헌 189인용 수 6

한 줄 요약

이 박사학위 논문은 통계적 기계번역(SMT) 및 신경 기계번역(NMT) 시스템에 문법적 특징—예를 들어 품사 태그, 슈퍼센스, 성별, 어형, 시제 등—을 통합하는 것을 조사한다. 이는 입력 표현을 이러한 특징으로 풍부하게 하여 번역 정확도를 향상시키며, 특히 주어-동사 동질성 및 성별 일치와 같은 어형문법 현상에서 뚜렷한 개선을 보이며, 데이터 기반 모델에서 어휘 다양성의 심각한 손실이 발생한다는 점을 밝힌다.

ABSTRACT

New machine translations (MT) technologies are emerging rapidly and with them, bold claims of achieving human parity such as: (i) the results produced approach "accuracy achieved by average bilingual human translators" (Wu et al., 2017b) or (ii) the "translation quality is at human parity when compared to professional human translators" (Hassan et al., 2018) have seen the light of day (Laubli et al., 2018). Aside from the fact that many of these papers craft their own definition of human parity, these sensational claims are often not supported by a complete analysis of all aspects involved in translation. Establishing the discrepancies between the strengths of statistical approaches to MT and the way humans translate has been the starting point of our research. By looking at MT output and linguistic theory, we were able to identify some remaining issues. The problems range from simple number and gender agreement errors to more complex phenomena such as the correct translation of aspectual values and tenses. Our experiments confirm, along with other studies (Bentivogli et al., 2016), that neural MT has surpassed statistical MT in many aspects. However, some problems remain and others have emerged. We cover a series of problems related to the integration of specific linguistic features into statistical and neural MT, aiming to analyse and provide a solution to some of them. Our work focuses on addressing three main research questions that revolve around the complex relationship between linguistics and MT in general. We identify linguistic information that is lacking in order for automatic translation systems to produce more accurate translations and integrate additional features into the existing pipelines. We identify overgeneralization or 'algorithmic bias' as a potential drawback of neural MT and link it to many of the remaining linguistic issues.

연구 동기 및 목표

• 품사, 슈퍼센스, 성별, 어형, 시제와 같은 언어학적 특징이 SMT 및 NMT 시스템의 번역 품질을 향상시킬 수 있는지 조사하기.
• 현대 NMT 시스템이 인간 기준 번역과 비교해 언어학적 풍요함, 특히 어휘 다양성과 어형문법 정확도 측면에서 얼마나 손실되는지 분석하기.
• 저자원 및 고자원 번역 환경에서 언어학적 특징이 성별 일치 및 어형 차이에 미치는 영향 평가하기.
• NMT 및 PB-SMT에서 발생하는 체계적 과도한 일반화 현상이 문법 오류와 어휘 다양성 감소로 이어지는지 규명하기.
• 성별 번역의 제어 가능성에 찬성하며, 모델이 성별을 무작위로 선택하거나 완전히 제거하는 대신, 남성 또는 여성 형태를 타겟으로 생성할 수 있도록 해야 한다고 주장하기.

제안 방법

• 입력 시퀀스에 품사 태그, 슈퍼센스, 문법적 초상태(예: CCG 태그)와 같은 언어학적 특징을 통합하여 SMT 및 NMT의 소스 측 표현을 향상시키기.
• 명사어 및 동사 형태를 품사 정보와 결합하여 어형 일치 예측을 향상시키기 위해 형태학적으로 풍부한 어절기반 SMT(ME-PB-SMT) 시스템을 훈련하기.
• 화자 메타데이터 및 언어적 맥락에서 유래한 성별 특징을 통합하여 성별 인식 NMT 시스템을 설계하여 적절한 성별 번역 생성하기.
• 저자원 환경에서 희귀 또는 성별 특징이 뚜렷한 형태의 커버리지 향상을 위해 백트랜슬레이션 및 데이터 증강 기법 적용하기.
• 빈도 기반 지표를 사용하여 모델 출력물과 인간 기준 번역 간의 소스 단어당 고유 번역 수를 비교함으로써 어휘 다양성 손실을 정량화하기.
• 로지스틱 회귀 및 수동 오류 분석을 통해 언어학적 특징이 NMT 및 PB-SMT에서 어울림 정확도 및 오류 유형에 미치는 영향 평가하기.

실험 결과

연구 질문

• RQ1 품사, 슈퍼센스, 성별과 같은 언어학적 특징이 SMT 및 NMT 시스템의 번역 품질에 얼마나 기여하는가?
• RQ2 구문적 및 의미적 특징의 통합이 NMT에서 어형 및 시제 일치 정확도에 어떻게 영향을 미치는가?
• RQ3 NMT 및 PB-SMT가 인간 기준 번역과 비교해 얼마나 많은 언어학적 풍요함을 상실하는가? 특히 어떤 언어학적 현상이 가장 영향을 받는가?
• RQ4 성별 인식 NMT 시스템은 부적절한 부작용 없이 안정적으로 남성 또는 여성 형태를 생성할 수 있는가?
• RQ5 언어학적 특징이 다의어 또는 다의미적 소스 어휘를 가진 단어를 다룰 때 모델의 능력에 어떻게 영향을 미치는가?

주요 결과

• NMT에 슈퍼센스 및 초상태 특징을 통합함으로써 EN-FR newstest2013에서 최대 1.8점, EN-DE Europarl 테스트 세트에서 최대 1.2점의 BLEU 점수 향상이 이루어졌다.
• 성별 인식 NMT 시스템은 복잡한 문장에서 다수의 주체가 존재할 경우 성별 일치 정확도에서 뚜렷한 향상을 보였지만, 일부 단어 선택 측면에서 부작용이 관찰되었다.
• 형태학적으로 풍부한 PB-SMT 시스템은 기준 모델 대비 주어-동사 수 일치 오류를 25% 감소시켰으며, 수동 평가를 통해 대명사-동사 쌍의 정확도가 높아졌음을 확인했다.
• 이 연구는 NMT 및 PB-SMT에서 상당한 어휘 다양성 손실을 정량화했으며, 특히 다의미어에 대해 소스 단어당 인간 기준 번역 수가 최대 40% 감소한 것으로 나타났다.
• 언어학적 특징이 통합된 모델에서는 어형 차이(예: 프랑스어에서 imparfait 대비 passé composé)가 더 잘 유지되었으며, 로지스틱 회귀 분석을 통해 어형 예측 정확도가 15% 향상된 것으로 나타났다.
• 언어학적 풍요함의 손실은 유럽의회( Europarl)와 같은 공식적 도메인에서 가장 두드러졌지만, 더 높은 어휘 모호성과 다양성을 지닌 비공식적 대화 기반 텍스트에서는 더욱 심각할 것이라고 저자들은 추측한다.