[논문 리뷰] BPE and CharCNNs for Translation of Morphology: A Cross-Lingual Comparison and Analysis

Pamela Shapiro, Kevin Duh|arXiv (Cornell University)|2018. 09. 05.

Natural Language Processing Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 저자원, 형태적 복잡한 언어를 위한 신경 기계 번역에서 바이트-페어 인코딩(BPE)과 문자 수준의 CNN(charCNN) 간 상호보완적 역할을 조사한다. BPE와 charCNN을 조합하면 여덟 개 언어 전반에서 번역 성능이 일관되게 향상되며, 히브리어에서는 BPE보다 charCNN이 더 뛰어나다. 이는 히브리어의 불순한 아바드 스트립트와 템플릿 기반 형태학적 특성 때문이기 때문이다.

ABSTRACT

Neural Machine Translation (NMT) in low-resource settings and of morphologically rich languages is made difficult in part by data sparsity of vocabulary words. Several methods have been used to help reduce this sparsity, notably Byte-Pair Encoding (BPE) and a character-based CNN layer (charCNN). However, the charCNN has largely been neglected, possibly because it has only been compared to BPE rather than combined with it. We argue for a reconsideration of the charCNN, based on cross-lingual improvements on low-resource data. We translate from 8 languages into English, using a multi-way parallel collection of TED transcripts. We find that in most cases, using both BPE and a charCNN performs best, while in Hebrew, using a charCNN over words is best.

연구 동기 및 목표

• 저자원 신경 기계 번역에서 BPE와 charCNN이 형태적 복잡성을 다루는 데 효과적인지 평가하기.
• BPE와 charCNN이 하위어형 형태를 모델링할 때 상호보완적인지 여부 또는 중복적인 개선을 제공하는지 판단하기.
• 특히 불순한 아바드 스트립트를 사용하는 세미틱 언어에서의 언어별 성능 차이를 조사하기.
• 저자원 환경에서 소스 측 형태학을 위한 charCNN을 더 강력한 베이스라인으로 사용할 수 있는 실증적 근거를 제공하기.
• 재현성과 확장성을 위해 OpenNMT-py에 charCNN의 오픈소스 구현을 공개하기.

제안 방법

• 반복적인 빈도 높은 문자 쌍의 병합을 통해 소스 측 학습 데이터에 BPE를 적용하여 하위어형 분할을 수행하였다.
• 문자 수준 임베딩에서 단어 표현을 학습하기 위해 인코더에 문자 수준의 CNN(charCNN)을 통합하였다.
• BPE와 charCNN을 하나의 모델 아키텍처에 통합하여 어휘 단위와 문자 수준 패턴 양쪽 모두에 주의를 기울일 수 있도록 하였다.
• 영어를 타겟 언어로 하여 아랍어, 프랑스어, 독일어, 히브리어, 헝가리어, 포르투갈어, 루마니아어, 러시아어 등 여덟 개 언어에서의 TED 강연 다국어 병렬 데이터셋을 사용하였다.
• 개발 및 테스트 세트에서 BLEU 점수를 사용하여 모델을 훈련하고 평가하였으며, 구성 비교를 위해 word+tok, word+char, bpe+tok, bpe+char, stem+tok, stem+char를 대비하였다.
• 번역 출력의 정성적 분석을 통해 실패 원인과 형태학적 모델링 행동을 이해하고자 하였다.

실험 결과

연구 질문

• RQ1 형태적 복잡성이 높고 자원이 적은 언어에서 BPE와 charCNN은 번역 성능 향상에 어떻게 비교되는가?
• RQ2 BPE와 charCNN은 하위어형 형태를 모델링할 때 상호보완적인가, 아니면 중복적인 개선을 제공하는가?
• RQ3 BPE가 히브리어와 아랍어에서 성능이 열 劣하거나 해로운 영향을 미치는 이유는 무엇이며, 이는 해당 언어의 철자 체계와 형태학적 체계와 어떻게 관련되는가?
• RQ4 어떤 언어학적 또는 유형론적 맥락에서 charCNN만으로도 BPE 기반 모델을 능가하는가?
• RQ5 BPE와 charCNN은 복잡한 복합어를 다룰 때 어떻게 상호작용하는가? 문자 수준 모델링은 하위어형 분할 오류를 어떻게 해결하는가?

주요 결과

• BPE와 charCNN의 조합은 여덟 언어 중 일곱 언어에서 일관되게 가장 높은 BLEU 점수를 기록하였으며, 포르투갈어-영어 번역에서 최고 점수 41.67을 기록하였다.
• 히브리어에서는 word+char 구성이 35.53 BLEU를 기록하여 bpe+char 시스템(30.81 BLEU)을 초월하여, BPE가 이 언어에서 성능을 해칠 수 있음을 시사한다.
• BPE는 히브리어에서 해로운 분할을 유발하였으며(예: "mk@@ ndh"는 "from Canada"로 번역), 아랍어에서도 유사한 문제가 발생하였다(예: "alkn@@ dywn"은 "the Canadians"로 번역), 이는 모음 기호 부재와 템플릿 기반 형태학적 특성으로 인한 것으로 보인다.
• 독일어에서는 bpe+char 모델이 복합어 처리에서 다른 모델을 앞섰으며(예: "self-portraits"는 BPE에 의해 "selbst@@ portr@@ aits"로 분할되었고, charCNN이 올바른 의미를 복원하는 데 기여하였다).
• 스템드 텍스트(예: 아랍어의 ISRI 스테머)에서는 charCNN의 효과가 떨어졌으며, BLEU 점수 향상 폭이 3.41에서 0.06으로 급격히 감소하였다. 이는 형태학적 정규화가 charCNN의 유용성을 감소시킨다는 것을 시사한다.
• charCNN은 문자 수준 패턴을 모델링하는 데 특히 유리하여, 이질적 표기(예: 히브리어의 "milli-" 표기)에서 BPE의 하위어형 단위가 인식을 방해하는 문제를 해결하는 데 기여하였다.