[논문 리뷰] Document-aligned Japanese-English Conversation Parallel Corpus

Matīss Rikters, Ryokan Ri외 2명|arXiv (Cornell University)|2020. 12. 11.

Natural Language Processing Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 문서 수준의 기계 번역(MT)을 발전시키기 위해 고품질의 문서에 맞춰 정렬된 일본어-영어 대화 병렬 코퍼스를 소개한다. 시나리오, 화자, 맥락 메타데이터를 통합함으로써, 맥락 인식 기반 MT 모델의 훈련과 평가가 가능해지며, 문장 수준 기반 모델 대비 대화 번역에서 주로 발생하는 대명사 및 모호한 참조 문제의 처리 능력 향상을 입증한다.

ABSTRACT

Sentence-level (SL) machine translation (MT) has reached acceptable quality for many high-resourced languages, but not document-level (DL) MT, which is difficult to 1) train with little amount of DL data; and 2) evaluate, as the main methods and data sets focus on SL evaluation. To address the first issue, we present a document-aligned Japanese-English conversation corpus, including balanced, high-quality business conversation data for tuning and testing. As for the second issue, we manually identify the main areas where SL MT fails to produce adequate translations in lack of context. We then create an evaluation set where these phenomena are annotated to alleviate automatic evaluation of DL systems. We train MT models using our corpus to demonstrate how using context leads to improvements.

연구 동기 및 목표

• 대화 번역을 위한 고품질의 문서 수준 정렬 병렬 코퍼스가 부족한 점, 특히 일본어-영어와 같은 저자원 언어 쌍에 대해 이를 해결하고자 한다.
• 문장 수준을 초월한 맥락이 필요한 문서 수준 기계 번역(DL-MT) 시스템의 훈련과 평가를 가능하게 하기 위해, 문서 수준의 기계 번역 시스템을 지원한다.
• 문장 수준 MT에서 어려움을 겪는 맥락 의존적 언어 현상—예: 대명사 참조, 생략, 어휘 모호성—을 식별하고 주석을 달며, 맥락을 통해 해결 가능한지를 확인하고자 한다.
• 재현 가능한 평가를 위해 화자, 장면, 문서 수준 메타데이터가 포함된 균형 잡힌 개발 및 평가 세트를 제공한다.
• 맥락 인식 기반 MT 모델이 문장 수준 기반 모델 대비 모호하거나 주어지지 않은 어휘(예: 주로 생략되는 대명사)를 번역할 때 더 우수한 성능을 보임을 입증한다.

제안 방법

• 전문적인 시나리오 작성과 번역을 통해 새로운 비즈니스 장면 대화(BSD) 서브코퍼스를 구축하여, 높은 어휘 다양성과 맥락 정확도를 확보했다.
• 기존 영어 대화 코퍼스(AMI 미팅 코퍼스 및 OntoNotes 5.0)를 일본어로 번역하여, 문서 수준 및 문장 수준의 정렬이 이루어진 두 개의 추가 서브코퍼스를 생성했다.
• 맥락 인식 기반 MT 훈련 및 평가를 가능하게 하기 위해 화자 역할, 장면, 문서 경계를 주석 처리했다.
• 이중 단계의 커뮤니티 기반 평가 프로토콜을 설계: 첫 번째 단계는 개별 문장의 품질 평가, 두 번째 단계는 연속된 문장 쌍의 유창성 및 정확도를 고려한 맥락 기반 평가.
• 평가자 간 일致도를 측정하기 위해 Free-Marginal Kappa를 사용하여 중간 수준의 일致도(kappa = 0.34)를 기록했으며, 이는 커뮤니티 기반 언어 평가에서 일반적인 결과이다.
• 전문가 검증을 통해 맥락 의존적 번역 실패 원인을 특정하고, 모호성 유형을 분류했다. 특히 대명사 생략 및 어휘 모호성 문제가 두드러졌다 (예: 'Chinese'가 언어인지 음식인지의 모호성).

실험 결과

연구 질문

• RQ1 문장 수준 MT에서 맥락 부족으로 인해 일본어-영어 대화 번역에서 가장 어려운 언어 현상은 무엇인가?
• RQ2 문서 수준 정렬 병렬 코퍼스는 맥락 인식 신경 기계 번역 모델의 성능을 어떻게 향상시킬 수 있는가?
• RQ3 맥락 인식 기반 MT 모델은 문장 수준 기반 모델 대비 대명사 번역 및 어휘 모호성 해결 오류를 어느 정도 줄일 수 있는가?
• RQ4 장면 및 화자 메타데이터가 포함된 주석 처리된 균형 잡힌 개발 및 평가 세트는 문서 수준 MT 시스템의 더 신뢰성 있고 재현 가능한 평가를 가능하게 하는가?
• RQ5 다양한 유형의 모호성(예: 대명사, 동음이의어)은 번역 품질에 어떤 영향을 미치며, 맥락을 통해 체계적으로 식별하고 해결할 수 있는가?

주요 결과

• EN→JA 방향으로 2051개 문장 쌍, JA→EN 방향으로 2051개 문장 쌍이 포함되어 있으며, 두 번째 단계 평가에서 각각 228개 EN→JA 및 208개 JA→EN 문장 쌍이 맥락적으로 잘못된 것으로 표시되었다.
• 전문가 검증을 통해 9개 EN→JA 및 43개 JA→EN 문장 쌍이 맥락 의존적 번역 오류로 확인되었으며, 주로 대명사 생략 또는 모호한 어휘 요소(예: 'Chinese'가 언어인지 음식인지의 모호성) 때문이었다.
• 맥락 기반 MT 모델은 문장 수준 기반 모델 대비 대명사 번역 처리 능력에서 뛰어난 성능을 보였지만, 장기간의 맥락 의존성 문제에는 여전히 어려움을 겪었다.
• 평가 과정에서 얻은 Free-Marginal Kappa 점수 0.34는 평가자 간 중간 수준의 일치도를 나타내며, 인간 평가 프로토콜의 신뢰성을 입증한다.
• 코퍼스에는 장면 특화 메타데이터(예: 비즈니스, 회의, 뉴스 방송)가 포함되어 있어, 예의와 공손성 수준을 모델링함으로써 맥락 민감한 표현의 번역 품질 향상을 가능하게 한다.
• 공개된 코퍼스에는 전체 메타데이터—원천 언어, 화자, 장면, 문서 ID, 모호성 유형—이 포함되어 있어, 향후 화자 인식 및 장면 인식 기반 MT 시스템 연구를 위한 기초 자료로 활용 가능하다.