[논문 리뷰] Examining the Tip of the Iceberg: A Data Set for Idiom Translation

Marzieh Fadaee, Arianna Bisazza외 1명|arXiv (Cornell University)|2018. 02. 13.

Natural Language Processing Techniques참고 문헌 17인용 수 10

한 줄 요약

이 논문은 독립적으로 구성된 대규모 병렬 코퍼스를 제안하며, 이는 독일어-영어 기계 번역에서 관용어 번역을 위한 첫 번째 대규모 자동 생성 병렬 코퍼스이다. 이 코퍼스는 1,500개의 관용어 포함 테스트 문장과 관용어가 주석 처리된 450만 개의 트레이닝 문장을 포함한다. 저자들은 관용어에 특화된 정확도를 중심으로 한 새로운 평가 지표를 사용하여 신경 기반 및 어절 기반 기계 번역 시스템을 평가하였으며, 관용어 마커를 통한 전문화된 모델링이 전체 BLEU 점수는 낮아지더라도 관용어 번역 정확도 향상에 기여함을 보였다.

ABSTRACT

Neural Machine Translation (NMT) has been widely used in recent years with significant improvements for many language pairs. Although state-of-the-art NMT systems are generating progressively better translations, idiom translation remains one of the open challenges in this field. Idioms, a category of multiword expressions, are an interesting language phenomenon where the overall meaning of the expression cannot be composed from the meanings of its parts. A first important challenge is the lack of dedicated data sets for learning and evaluating idiom translation. In this paper we address this problem by creating the first large-scale data set for idiom translation. Our data set is automatically extracted from a widely used German-English translation corpus and includes, for each language direction, a targeted evaluation set where all sentences contain idioms and a regular training corpus where sentences including idioms are marked. We release this data set and use it to perform preliminary NMT experiments as the first step towards better idiom translation.

연구 동기 및 목표

• 신경 기계 번역에서 관용어 번역을 위한 전용 대규모 병렬 코퍼스의 부족 문제를 해결하기 위해.
• 최신 NMT 시스템에서 일반 어구와 비교해 관용어 번역에 대한 성능 격차를 조사하기 위해.
• 독일어-영어 번역에서 관용어 표현을 위한 목표 테스트 세트와 주석 처리된 트레이닝 데이터를 포함한 벤치마크 데이터셋을 개발하고 공개하기 위해.
• 표준 평가 지표와 함께 관용어에 특화된 새로운 평가 지표를 사용하여 NMT 및 어절 기반 기계 번역 시스템의 관용어 번역 성능을 평가하기 위해.
• 특정 마커를 사용한 전문화된 모델링이 전체 BLEU 점수가 감소하더라도 관용어 번역 정확도 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• 일반 목적의 독일어-영어 병렬 코퍼스에서 관용어를 포함한 문장 쌍 1,500개를 자동으로 추출하여, 원천 문장과 번역 문장 양쪽 모두에 관용어가 포함되도록 보장한다.
• 원천 문장에 관용어 존재 여부를 명시적으로 주석 처리한 450만 문장의 트레이닝 코퍼스를 구성한다.
• fast-align를 통한 단어 수준의 정렬을 이용해 관용어 번역을 맥락과 별도로 고립하고 평가한다.
• 두 가지 새로운 평가 지표를 도입한다: 관용어 어구 번역을 위한 수정된 유니그램 정밀도와 정렬된 단어 기반의 단어 수준 관용어 정확도(WIAcc).
• NMT 및 어절 기반 기계 번역 시스템을 훈련하고 비교하며, 입력에 관용어 존재 여부를 나타내는 특수 토큰을 포함한 NMT 변형 모델도 포함한다.
• 30,000회의 병합 연산을 사용한 바이트-페어 인코딩(BPE)을 적용하고, 전체 번역 품질을 위한 기준 지표로 표준 BLEU를 사용한다.

실험 결과

연구 질문

• RQ1 관용어가 트레이닝 데이터에서 희귀한 경우, 신경 기계 번역(NMT)이 어절 기반 모델에 비해 관용어 번역에서 어떻게 성능을 내는가?
• RQ2 입력에 관용어 존재 여부를 나타내는 특수 토큰을 포함시키는 것이 관용어 표현의 번역 품질 향상에 기여하는가?
• RQ3 표준 자동 평가 지표(예: BLEU)는 실제 관용어 번역 정확도를 얼마나 잘 반영하는가? 전문화된 평가 지표는 어떠한가?
• RQ4 NMT 시스템이 관용어 번역에서의 성능은 일반 번역 작업에서의 성능과 비교해 어떻게 되는가?
• RQ5 데이터 크기와 주석 품질이 신경 번역 모델에서 관용어 표현의 학습 가능성에 어떤 영향을 미치는가?

주요 결과

• 특수 관용어 마커 토큰을 포함한 NMT 시스템은 전체 BLEU 점수가 약간 낮아졌음에도 불구하고, 기준 NMT 및 어절 기반 모델보다 높은 관용어에 특화된 유니그램 정밀도와 단어 수준 정확도를 달성하였다.
• 기준 NMT 시스템은 표준 WMT 테스트 세트보다 관용어에 특화된 테스트 세트에서 성능이 열 劣하므로, 현재 NMT 모델이 관용어 번역을 여전히 큰 과제로 간주하고 있음을 시사한다.
• 어절 기반 기계 번역 시스템은 관용어 번역에서 성능 격차가 더 작았으며, 일부 경우에서 NMT보다 관용어 어구를 더 신뢰성 있게 기억하고 재생산할 수 있음을 보여주었다.
• 수정된 유니그램 정밀도 지표는 관용어 번역 품질 향상을 효과적으로 포착하였으며, 이는 전문화된 평가에 있어 그 가치를 입증하였다.
• 단어 수준 관용어 정확도(WIAcc) 지표는 관용어 마커를 포함한 NMT 모델이 다른 모델보다 관용어 어구 내 단어의 더 높은 비율을 정확히 번역했음을 입증하였다.
• 103개의 독일어 관용어와 132개의 영어 관용어를 포함한 새로운 데이터셋의 공개는 신경 기계 번역에서 관용어 표현 번역 연구의 기초를 마련하였다.