[논문 리뷰] Large-Scale Machine Translation between Arabic and Hebrew: Available Corpora and Initial Results

Yonatan Belinkov, James Glass|arXiv (Cornell University)|2016. 09. 25.

Natural Language Processing Techniques참고 문헌 29인용 수 9

한 줄 요약

이 논문은 새로 확보된 병렬 코퍼스를 활용하여 아랍어- hebrew 번역을 위한 어휘 기반 번역과 신경망 기반 번역(NMT) 간의 대규모 비교를 제시한다. 결과적으로 문자 수준의 신경 모델이 전통적인 형태론적 인식 토크나이저보다 뛰어난 성능을 보이며, UNK 대체 및 문자 수준 인코딩을 사용한 NMT 시스템이 BLEU 점수 10.86을 기록하여 자원이 적은 세미틱 언어 번역 분야에서의 핵심 진전을 이룩한다.

ABSTRACT

Machine translation between Arabic and Hebrew has so far been limited by a lack of parallel corpora, despite the political and cultural importance of this language pair. Previous work relied on manually-crafted grammars or pivoting via English, both of which are unsatisfactory for building a scalable and accurate MT system. In this work, we compare standard phrase-based and neural systems on Arabic-Hebrew translation. We experiment with tokenization by external tools and sub-word modeling by character-level neural models, and show that both methods lead to improved translation performance, with a small advantage to the neural models.

연구 동기 및 목표

• 언어적 및 문화적으로 중요한 아랍어-히브리어 번역을 위한 병렬 코퍼스 부족 문제를 해결한다. 이는 여전히 중요한 격차임에도 불구하고.
• 영어를 중간 언어로 삼는 방식이나 규칙 기반 시스템 등 이전 접근 방식의 한계를 극복한다. 이러한 접근 방식은 정보 손실이나 낮은 견고성 문제를 야기한다.
• 형태론적 특징이 뚜렷한 세미틱 언어의 번역 품질 향상에 있어 형태론적 인식 토크나이저와 문자 수준의 신경 모델링의 효과를 평가한다.
• WIT3 TED 강연 코퍼스를 사용하여 아랍어-히브리어 번역의 기준 성능을 설정함으로써 향후 비교 연구를 가능하게 한다.
• 서브워드 모델링과 어 attention 메커니즘을 통한 UNK 단어 대체가 번역 성능에 미치는 영향을 조사한다.

제안 방법

• TED 강연에서 유래한 대규모 아랍어-히브리어 병렬 코퍼스를 기반으로 표준 어휘 기반 번역(PBMT)과 신경망 기반 번역(NMT) 시스템을 훈련하고 비교한다.
• 아랍어와 히브리어의 형태학적 복잡성을 다루기 위해 외부 토크나이저 도구(Farasa 및 MADAMIRA)를 적용한다.
• 서브워드 단위를 처리하기 위해 CNN 기반 인코더를 사용하는 문자 수준의 신경 모델을 구현함으로써 OOV(Out-of-Vocabulary) 문제를 줄인다.
• 어떤 어휘 단위가 모델에 존재하지 않을 경우, 어텐션 가중치를 활용해 해당 UNK 토큰을 원천 쪽 대응어와 연결함으로써 어텐션 기반 UNK 단어 대체를 통합한다.
• PBMT에는 Moses 툴킷을, 신경망 시스템에는 어텐션 기반의 시퀀스-투-시퀀스 NMT 프레임워크를 사용한다.
• BLEU 및 Meteor 점수를 사용하여 성능을 평가하며, 유의성 검정은 표준 통계 방법을 통해 수행한다.

실험 결과

연구 질문

• RQ1 새로운 병행 코퍼스를 활용한 아랍어-히브리어 번역에서 신경망 기반 번역(NMT)이 어휘 기반 번역(PBMT)을 능가할 수 있는가?
• RQ2 형태론적 인식 토크나이저는 아랍어-히브리어 번역에서 성능 향상에 얼마나 기여하는가?
• RQ3 기존의 토크나이저 도구와 비교해 문자 수준의 신경 모델은 형태학적 특징이 뚜렷한 언어를 다룰 때 얼마나 효과적인가?
• RQ4 어텐션 기반의 UNK 단어 대체는 NMT 시스템의 번역 품질 향상에 기여하는가?
• RQ5 제한된 규모의 훈련 데이터를 고려할 때, 모델 크기와 아키텍처는 성능에 어떤 영향을 미치는가?

주요 결과

• 신경망 기반 번역(NMT) 시스템이 어휘 기반 번역(PBMT)을 능가하며, 문자 수준 모델링과 UNK 대체를 사용한 경우 BLEU 점수 10.86을 기록했고, PBMT는 9.31을 기록했다.
• UNK 대체 기능이 있는 문자 수준 NMT 모델(10.86 BLEU)은 토크나이저를 적용한 모든 PBMT 변종보다 유의미하게 뛰어나다.
• Farasa 및 MADAMIRA를 사용한 토크나이저 적용은 PBMT 성능을 약간 향상시켰다(BLEU: 9.51–9.63), 그러나 통계적으로 유의미한 향상은 아니었다.
• 문자 수준 인코딩을 사용한 NMT 모델(10.65 BLEU)은 표준 NMT(9.91 BLEU)보다 뚜렷하고 통계적으로 유의미한 향상을 보였다.
• 어 attention 가중치를 활용한 UNK 단어 대체로 BLEU 점수가 10.65에서 10.86으로 상승하여 명백한 성능 향상이 있었다.
• 더 큰 크기와 더 깊은 구조의 NMT 모델도 유의미한 성능 향상을 가져오지 못했으며, 이는 데이터 크기의 제한이 모델 용량 향상에 영향을 미친다는 것을 시사한다.