[논문 리뷰] Assessing Crosslingual Discourse Relations in Machine Translation

Karin Smith, Lucia Specia|arXiv (Cornell University)|2018. 10. 07.

Natural Language Processing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 번역의 다국어 문맥적 관계 전이를 평가하기 위해 기준 텍스트가 없는, 소스 기반 평가 방법을 제안한다. 이 방법은 다국어 문맥적 임베딩과 문맥적 관계 매핑을 사용하여, 번역 결과물이 소스 텍스트의 문맥적 관계를 얼마나 잘 유지하는지를 측정한다. 기존 표준 평가 지표보다 우수하며, 소스에서 타겟으로의 문맥적 관계의 의미 유지 정도를 측정함으로써, 편집 후 번역 결과가 기계 번역 결과보다 높은 점수를 받는 경우가 78%에 달한다. 이는 실제적인, 문맥 인식 기반 기계 번역 평가의 잠재력을 보여준다.

ABSTRACT

In an attempt to improve overall translation quality, there has been an increasing focus on integrating more linguistic elements into Machine Translation (MT). While significant progress has been achieved, especially recently with neural models, automatically evaluating the output of such systems is still an open problem. Current practice in MT evaluation relies on a single reference translation, even though there are many ways of translating a particular text, and it tends to disregard higher level information such as discourse. We propose a novel approach that assesses the translated output based on the source text rather than the reference translation, and measures the extent to which the semantics of the discourse elements (discourse relations, in particular) in the source text are preserved in the MT output. The challenge is to detect the discourse relations in the source text and determine whether these relations are correctly transferred crosslingually to the target language -- without a reference translation. This methodology could be used independently for discourse-level evaluation, or as a component in other metrics, at a time where substantial amounts of MT are online and would benefit from evaluation where the source text serves as a benchmark.

연구 동기 및 목표

• 기준 번역에 의존하는 기계 번역 평가의 한계를 해결하기 위해, 단일 기준 번역에 국한되며 문맥 수준의 의미를 간과하는 문제를 해결하고자 한다.
• 기준 번역에 의존하지 않고도 소스 텍스트의 문맥적 관계 유지 정도를 기반으로 기계 번역 결과를 평가하는 방법을 개발하고자 한다.
• 소스 텍스트를 기준으로 삼아 다국어 번역 수준의 정확성에 대한 대규모 실시간 평가를 가능하게 하여 온라인 기계 번역 평가를 지원하고자 한다.
• 특히 어휘적 신호인 문맥 연결어를 통해 명시적인 문맥 관계의 다국어 전이를 포착함으로써 기계 번역 평가를 향상시키고자 한다.
• 맥락에 민감하게 작동하는 방식으로, 다국어 문맥 임베딩을 활용해 다양한 언어 간 의미 등가성을 모델링할 수 있는지의 가능성을 탐색하고자 한다.

제안 방법

• 논문은 기계 번역 평가를 위해 소스 텍스트에서 문맥 관계를 탐지하고, 특정 관계(예: 조건관계, 목적관계 등)를 나타내는 문맥 연결어를 신호로 사용한다.
• 다국어 문맥 임베딩은 프랑스어(소스)와 영어(타겟) 언어 간 다단어 문맥 연결어의 의미 등가성을 포착하도록 훈련된다.
• 다국어 임베딩에서 유도된 가능성 점수는 소스 언어에서 타겟 언어로의 올바른 문맥 관계 전이 확률을 추정한다.
• 임베딩 유사도와 문맥 관계 매핑을 통합하여 가중치를 적용한 점수로, 문맥 관계 전이의 정확도를 평가한다.
• 평가 시 기준 번역 대신 소스 텍스트를 기준으로 삼아, 기계 번역 결과물이 문맥 관계의 의미를 얼마나 잘 유지했는지 평가한다.
• 다양한 기계 번역 시스템(예: RBMT1, Stanford, UEdin)에 대해 평가를 적용하였으며, 정확도는 편집 후 번역 결과를 대체 지표로 활용해 검증하였다.

실험 결과

연구 질문

• RQ1 기준 번역에 의존하지 않고도 소스 텍스트의 문맥 관계를 신뢰성 있게 탐지하고, 그 타겟 언어 대응어로 매핑할 수 있는가?
• RQ2 다국어 문맥 임베딩이 프랑스어와 영어와 같은 언어 간 문맥 연결어의 의미 등가성을 어느 정도 잘 포착할 수 있는가?
• RQ3 제안된 방법이 기계 번역 결과와 편집 후 번역 결과 간의 문맥 관계 유지 정도를 얼마나 잘 구분할 수 있는가?
• RQ4 기준 번역 결과와 다를지라도 문맥 의미를 유지하는 기계 번역 시스템에 대해 모델이 보상을 주는가?
• RQ5 암묵적 관계와 명시적 관계 간의 처리 성능은 어떻게 되며, 문장 간 관계 처리에 있어 한계는 무엇인가?

주요 결과

• 제안된 방법은 평가된 문서의 78%에서 편집 후 번역 결과를 기계 번역 결과보다 높거나 동일한 점수로 평가하여, 문맥 수준의 향상에 민감함을 보였다.
• 규칙 기반 번역 시스템(RBMT1 등)은 전통적 평가보다 제안된 지표에서 더 높은 성능을 보였으며, 특히 'pour que'에 대해 'so that'로 올바르게 번역한 경우에 기여했다.
• 예를 들어 'to enable'이나 'so that'와 같은 핵심 문맥 표시어를 유지하지 못한 시스템는 문법적으로 올바르더라도 징벌을 받았으며, 이는 모델이 의미의 정확성에 집중하고 있음을 시사한다.
• 모델는 STANFORD 및 UEDIN 시스템이 'to enable' 또는 'to make'의 무한명사 구조를 생략하여 문맥 관계 의미가 손실되었음을 밝혀내었으며, 이는 높은 유창성에도 불구하고 문제가 있음을 보여주었다.
• 기존 평가 지표보다 인간 평가와 더 높은 상관관계를 보였으며, 스피어만의 rho = 0.263로 문맥 수준 이해에 더 잘 부합함을 시사했다.
• 이 방법은 인간 기준 번역 결과가 종종 문맥 관계를 암묵적으로 포함하고 있음을 드러내었으며(예: 'to enable'를 통해), 이는 기계 번역에서 자주 유지되지 않는다는 점을 보여주며, 소스 기반 평가의 필요성을 강조한다.