[논문 리뷰] Character-based Neural Machine Translation

Ling Wang, Isabel Trancoso외 2명|arXiv (Cornell University)|2015. 11. 14.

Natural Language Processing Techniques참고 문헌 26인용 수 211

한 줄 요약

이 논문은 어순 기반 신경 기계 번역 모델을 제안하며, 단어 표현을 문자로 구성하고 목표 단어를 한 문자씩 순차적으로 생성함으로써, 미리 보지 못한 단어 형태의 번역을 효과적으로 수행할 수 있도록 한다. 이 모델은 어휘 기반 모델과 비슷한 성능을 달성하면서도 명시적인 어휘 사전 전처리가 필요 없고, 개방형 어휘 번역을 지원한다.

ABSTRACT

We introduce a neural machine translation model that views the input and output sentences as sequences of characters rather than words. Since word-level information provides a crucial source of bias, our input model composes representations of character sequences into representations of words (as determined by whitespace boundaries), and then these are translated using a joint attention/translation model. In the target language, the translation is modeled as a sequence of word vectors, but each word is generated one character at a time, conditional on the previous character generations in each word. As the representation and generation of words is performed at the character level, our model is capable of interpreting and generating unseen word forms. A secondary benefit of this approach is that it alleviates much of the challenges associated with preprocessing/tokenization of the source and target languages. We show that our model can achieve translation results that are on par with conventional word-based models.

연구 동기 및 목표

• 어휘 기반 신경 기계 번역의 OOV(Out-of-Vocabulary) 단어 처리 및 전처리 의존성의 한계를 해결하기 위해.
• 이전에 열등성으로 간주되었던 문자 수준의 모델링이 경쟁력 있는 번역 성능을 달성할 수 있는지 탐색하기 위해.
• 원천 언어와 목표 언어 양쪽에서 미리 보지 못한 형태의 변형에도 일반화할 수 있는 엔드 투 엔드 번역을 가능하게 하기 위해.
• 문자 수준에서만 명시적으로 모델링함으로써 사전에 정의된 어휘에 대한 의존도를 줄여 확장성을 향상시키기 위해.

제안 방법

• 모델는 양방향 LSTMs(BLSTMs)를 사용해 원천 문장을 인코딩하며, 단어 표현은 계층적 아키텍처를 통해 문자 수준 임베딩으로 구성된다.
• 단어 표현은 문자 수준 인코더를 통해 단어 내 문자 시퀀스를 인코딩한 후, BLSTM을 통한 단어 수준의 컨텍스트 표현을 통해 생성된다.
• 목표 단어는 이전 문자들과 원천 컨텍스트에 조건부로 한 문자씩 순차적으로 생성된다.
• 디코딩 중에 원천 단어 표현을 기반으로 원천과 목표 단어를 정렬하기 위해 공동 어텐션 메커니즘이 사용된다.
• 문자 시퀀스 내에서 단어 경계를 정의하기 위해 시작-단어(SOW) 및 끝-단어(EOW) 토큰을 사용한다.
• 단어 수준 표현은 연속 공간으로 매핑되며, 문자 수준 디코더를 통해 목표 단어를 생성함으로써 형태소 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 문자 수준의 신경 기계 번역 모델은 어휘 기반 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 원천 언어와 목표 언어 양쪽에서 미리 보지 못한 단어 형태로 일반화하는 데 효과적인가?
• RQ3 문자 수준 모델링이 전처리 및 어휘 크기 제한에 대한 의존도를 줄이는가?
• RQ4 문자 수준 조합에서 형태소 패턴을 얼마나 잘 학습할 수 있는가?
• RQ5 자기회귀적 문자 생성 방식이 개방형 어휘 번역을 얼마나 잘 지원하는가?

주요 결과

• 문자 기반 모델은 표준 벤치마크에서 최신 어휘 기반 모델과 비교해 유사한 번역 성능을 달성한다.
• 모르는 단어, 예를 들어 형태소 변형('subsidisation' → 'subsídio')을 성공적으로 번역함으로써 훈련 어휘 외의 일반화 능력을 입증한다.
• 문자 수준 패턴에서 유추한 규칙에 따라 포르투갈어 복수형 규칙을 학습함으로써 정확한 복수형을 생성한다(예: 'reconstrução' → 'reconstruções').
• 희귀하거나 미리 보지 못한 단어에 대해서는 타당한데 잘못된 형태를 생성한다(예: 'subsidade' → 'subsídio'의 오류), 이는 사전 학습을 통해 향상 가능함을 시사한다.
• 문자 수준 생성 메커니즘이 단어 간 의존성을 유지함을 확인할 수 있었으며, 이는 앞선 관형사에 의해 유도된 정확한 복수형 생성을 통해 나타난다.
• 명시적인 단어 수준 어휘와 전처리의 필요성을 줄여 확장성 있는 개방형 어휘 번역을 지원한다.