[논문 리뷰] Impact of Corpora Quality on Neural Machine Translation

Matīss Rikters|arXiv (Cornell University)|2018. 10. 19.

Natural Language Processing Techniques참고 문헌 7인용 수 6

한 줄 요약

이 논문은 웹 크롤링으로부터 확보한 대규모 병렬 코퍼스에서 저품질 문장을 제거함으로써 신경 기계 번역(NMT) 성능을 햖थ히기 위한 종합적인 필터링 도구 세트를 제안한다. 중복, 동일, 일치하지 않는, 알파벳이 아닌, 반복되는 토큰, 언어 불일치 등의 문장을 대상으로 필터를 적용함으로써, 저명한 형태적 특징을 지닌 언어인 에스토니아어 및 라트비아어와 같은 언어에서 특히 성능 향상이 이루어지며, 노이즈가 많은 데이터의 78–85%를 제거한 후 영어-라트비아어 번역에서 최대 +1.60 BLEU 향상을 달성한다.

ABSTRACT

Large parallel corpora that are automatically obtained from the web, documents or elsewhere often exhibit many corrupted parts that are bound to negatively affect the quality of the systems and models that learn from these corpora. This paper describes frequent problems found in data and such data affects neural machine translation systems, as well as how to identify and deal with them. The solutions are summarised in a set of scripts that remove problematic sentences from input corpora.

연구 동기 및 목표

• 대규모 자동 수집된 병렬 코퍼스에서 흔히 발생하는 데이터 품질 문제를 식별하고 체계적으로 분류하는 것.
• NMT 학습 이전에 저품질 문장 쌍을 탐지하고 제거하는 데 목적이 있는 실용적이고 오픈소스인 필터 세트를 개발하는 것.
• 다양한 언어 쌍, 특히 형태적 특징이 뚜렷한 언어에서 이러한 필터의 영향을 평가하는 것.
• 청결한 데이터가 부족한 상황에서 노이즈가 많은 코퍼스를 필터링하면 수렴 속도가 빨라지고 BLEU 점수가 향상됨을 보여주는 것.
• 백트랜슬레이션 및 비지도 번역을 포함한 NMT 파이프라인에서 병렬 및 단일 언어 데이터 정제에 재사용 가능한, MIT 라이선스가 적용된 툴킷을 제공하는 것.

제안 방법

• 저자들은 특정 데이터 품질 문제를 대상으로 하는 필터 세트를 정의하고 구현한다: 중복된 문장 쌍, 동일한 소스-타겟 문장, 일对다 또는 다대일 정렬, 비알파벳 기호 과다 사용, 반복되는 토큰, 언어 식별 불일치.
• 필터는 라인 단위로 정렬된 병렬 코퍼스에 적용되며, 언어 식별(fasttext), 문자 분석, 정렬 검사를 통해 문제 문장을 식별한다.
• 필터링 파이프라인은 모세 스크립트를 통한 토크나이제이션, 트루케이싱, 바이트-페어 인코딩을 위한 서브워드 NMT를 포함한 표준 NMT 워크플로우와 통합된다.
• 툴킷은 WMT-18 병렬 코퍼스(영어-에스토니아어, 핀란드어, 라트비아어)에 적용되었으며, Sockeye를 사용해 6층, 8개 헤드, 512차원 임bedding을 갖는 트랜스포머 아키텍처로 모델을 학습시켰다.
• 성능 평가는 개발 세트에서의 BLEU 점수를 통해 수행되었으며, 양방향 번역에서 필터링된 대비 비필터링된 코퍼스를 비교하였다.
• 실제 시스템에서의 유효성 검증이 이루어졌으며, WMT18 최우수 성과를 기록한 NMT 제출 사례에도 활용되었다.

실험 결과

연구 질문

• RQ1 대규모 자동으로 추출된 병렬 코퍼스에서 흔히 발견되는 저품질 문장의 유형은 무엇인가?
• RQ2 다양한 필터링 기법이 NMT 모델의 학습 동역학과 최종 성능에 어떤 영향을 미치는가?
• RQ3 노이즈가 많은 병렬 코퍼스를 필터링하면 NMT 품질이 얼마나 향상되는가, 특히 형태적 특징이 뚜렷한 언어에서 어떻게 되는가?
• RQ4 에스토니아어-라트비아어 쌍에서 64%의 데이터를 제거했음에도 불구하고 핀란드어 쌍에서는 성능 향상이 이루어지지 않은 이유는 무엇인가?
• RQ5 제안된 필터링 파이프라인이 백트랜슬레이션 및 비지도 번역에서 단일 언어 데이터 정제에 효과적으로 재사용될 수 있는가?

주요 결과

• 필터링으로 영어-에스토니아어 병렬 코퍼스의 크기가 원래 크기의 46.50%로 줄었으며, 언어 불일치 및 비알파벳 문제로 인해 80%의 문장이 제거되었다.
• 에스토니아어의 경우, 필터링된 NMT 시스템이 비필터링 모델 대비 +0.35 BLEU 향상을 달성했으며, 수렴 속도가 빨라지고 성능 저하 없이도 성능 향상을 이룬 바 있다.
• 라트비아어의 경우, 데이터의 78%가 제거되었으며(주로 언어 불일치 및 비알파벳 콘텐츠로 인한 것), 영어-라트비아어 방향에서 +1.60 BLEU 향상을 기록했다.
• 핀란드어의 경우, 가장 크고 청결한 구성요소인 Europarl 코퍼스가 데이터를 지배하고 있어 필터링의 효과가 가려져 성능 향상이 뚜렷하지 않았다.
• 필터링된 시스템은 비필터링 시스템보다 더 빠른 수렴 속도를 보였으며, 이는 노이즈 제거가 성능 저하 없이 학습을 가속화함을 시사한다.
• 이 툴킷은 WMT18 최우수 성과를 기록한 NMT 시스템에서 성공적으로 활용되어 실제 생산 환경에서의 적용 가능성을 입증했다.