[논문 리뷰] A Latent Morphology Model for Open-Vocabulary Neural Machine Translation

Duygu Ataman, Wilker Aziz외 1명|arXiv (Cornell University)|2019. 10. 30.

Natural Language Processing Techniques참고 문헌 51인용 수 8

한 줄 요약

이 논문은 어휘가 풍부한 언어인 아랍어, 체코어, 터키어와 같은 언어에 대해 개방형 어휘(open-vocabulary) 신경 기계 번역을 위한 잠재적 형태론 모델(LMM)을 제안한다. 이 모델은 연속 벡터를 통한 어휘 의미와 약간의 이산 특징을 통한 형태구문 기능을 사용하여 한 글자씩 단어를 생성한다. 저자들은 저자원 조건에서 서브워드 및 문자 수준의 기준보다 최대 0.82 BLEU 포인트 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Translation into morphologically-rich languages challenges neural machine translation (NMT) models with extremely sparse vocabularies where atomic treatment of surface forms is unrealistic. This problem is typically addressed by either pre-processing words into subword units or performing translation directly at the level of characters. The former is based on word segmentation algorithms optimized using corpus-level statistics with no regard to the translation task. The latter learns directly from translation data but requires rather deep architectures. In this paper, we propose to translate words by modeling word formation through a hierarchical latent variable model which mimics the process of morphological inflection. Our model generates words one character at a time by composing two latent representations: a continuous one, aimed at capturing the lexical semantics, and a set of (approximately) discrete features, aimed at capturing the morphosyntactic function, which are shared among different surface forms. Our model achieves better accuracy in translation into three morphologically-rich languages than conventional open-vocabulary NMT methods, while also demonstrating a better generalization capacity under low to mid-resource settings.

연구 동기 및 목표

• 희귀하거나 알려지지 않은 어형이 성능 저하를 초래하는 어휘가 풍부한 언어의 신경 기계 번역에서 어휘 부족 문제를 해결한다.
• 언어학적 인식이 없고 일반화 능력이 떨어지는 코퍼스 통계에 의존하는 서브워드 토크나이제이션의 한계를 극복한다.
• 직접적인 서브워드나 문자 수준의 생성이 아닌 계층적인 잠재 변수를 통해 형태적 어형을 모델링하여 저자원 및 중간 자원 조건에서의 일반화 능력을 향상시킨다.
• 동일한 어근의 다양한 표면 실현 형태 간에 형태구문 특징을 공유함으로써 새로운 어형 형태에 대한 일반화 능력을 향상시킨다.
• 명시적 언어학적 지도 없이도 비지도 잠재 변수가 형태구문 정보를 효과적으로 포착할 수 있음을 입증한다.

제안 방법

• 두 가지 잠재 표현인 연속적인 의미 벡터와 약간의 이산 형태구문 특징에 조건화된 한 글자씩 단어를 생성하는 계층적 프로세스로 모델링한다.
• 엔드 투 엔드 학습을 가능하게 하기 위해 입력 문맥으로부터 어근 벡터와 어형 특징을 함께 추론하는 변동형 오토인코더 유사 프레임워크를 사용한다.
• 어형을 어근 표현(연속형)과 어형 특징(이산형)의 조합으로 분해하며, 이는 다양한 표면 형태 간에 공유된다.
• 병렬 단일어 문장 쌍에 대해 최대우도 추정을 통해 학습하며, 소스 입력에 대해 타겟 문장의 로그우도를 최적화한다.
• 이산 잠재 변수를 통해 역전파를 가능하게 하기 위해 미분 가능한 유도(예: Gumbel-Softmax)를 적용하여 두 표현의 공동 최적화를 허용한다.
• 문자 수준의 입력과 출력을 갖는 주의력 강화 RNN 인코더-디코더 아키텍처를 사용하며, 디코더는 소스 문장을 주시하고 잠재 표현을 사용해 단계적으로 타겟 문자를 생성한다.

실험 결과

연구 질문

• RQ1 명시적 언어학적 지도 없이도 계층적 잠재 변수 모델이 어휘가 풍부한 언어에서 형태구문 변이를 효과적으로 포착할 수 있는가?
• RQ2 공유된 잠재 특징을 통한 어형 생성 방식이 서브워드나 문자 수준의 기준보다 희귀하거나 알려지지 않은 어형 형태에 대한 일반화 능력을 향상시키는가?
• RQ3 학습된 이산 어형 특징이 시제, 총체, 격조사, 인칭과 같은 의미 있는 형태학적 범주와 어느 정도 일치하는가?
• RQ4 자원이 부족한 상황에서 성능 저하가 가장 심각한 저자원 및 중간 자원 설정에서 모델의 성능은 어떠한가?
• RQ5 모델이 어휘 성장에 대해 효율적인 디코딩과 자원 부족에 대한 강건성을 유지하면서도 서브워드 및 문자 수준의 NMT 모델보다 더 높은 번역 정확도를 달성할 수 있는가?

주요 결과

• 저자원 조건에서 어휘가 풍부한 언어로의 번역 성능에서 LMM 모델은 서브워드 수준의 NMT 모델보다 +0.82 BLEU 포인트 향상되었고, 문자 수준의 모델보다는 +2.54 BLEU 포인트 향상되었다.
• 모델은 뛰어난 일반화 능력을 보이며, 공유된 잠재 형태구문 특징을 활용해 알려지지 않은 어형 형태의 정확한 어형을 생성한다.
• 제거 실험 결과, 이산 어형 특징이 핵심임을 확인하였다. 비활성화 시 키워드 형태적 표시가 누락되어 잘못된 표면 형태가 생성된다.
• 동일한 어근의 다양한 표면 형태(예: 터키어에서 'go')를 오직 어형 특징 벡터만 바꿔서 생성할 수 있었으며, 이는 이러한 특징이 의미 있는 형태구문 차이를 인코딩하고 있음을 확인한다.
• 도메인 전용 용어로 인해 어휘 크기가 증가하는 상황에서도 높은 성능을 유지한다. 문자 수준의 모델은 자원 부족 상황에서 성능 저하를 겪는 반면, LMM 모델은 그렇지 않다.
• 정성 분석 결과, 모델은 공식/비공식 형태, 동명사, 분사형 등을 정확하게 생성하는 것을 학습하였으며, 이는 잠재 특징이 실제 언어학적 구조를 포착하고 있음을 시사한다.