[논문 리뷰] Character-Aware Decoder for Neural Machine Translation

Adithya Renduchintala, Pamela Shapiro외 2명|arXiv (Cornell University)|2018. 09. 06.

Natural Language Processing Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 어형 패턴을 포착하기 위해 소프트맥스 및 임bedding 레이어에 컨volutional 신경망(CNNs)을 통합하여 단어 수준 및 서브워드 수준 모델링을 향상시키는 문자 인식 디코더를 제안한다. 저자원 설정에서, 목표어 측의 문자 인식 임베딩과 표준 임베딩을 조합하고 대규모 어휘를 위해 근사 소프트맥스를 사용함으로써 14개의 다양한 언어 유형에 걸쳐 일관된 BLEU 점수 향상(최대 +3.37)을 달성한다.

ABSTRACT

Standard neural machine translation (NMT) systems operate primarily on words, ignoring lower-level patterns of morphology. We present a character-aware decoder for NMT that can simultaneously work with both word-level and subword-level sequences which is designed to capture such patterns. We achieve character-awareness by augmenting both the softmax and embedding layers of an attention-based encoder-decoder network with convolutional neural networks that operate on spelling of a word (or subword). While character-aware embeddings have been successfully used in the source-side, we find that mixing character-aware embeddings with standard embeddings is crucial in the target-side. Furthermore, we show that a simple approximate softmax layer can be used for large target-side vocabularies which would otherwise require prohibitively large memory. We experiment on the TED multi-target dataset, translating English into 14 typologically diverse languages. We find that in this low-resource setting, the character-aware decoder provides consistent improvements over word-level and subword-level counterparts with BLEU score gains of up to +3.37.

연구 동기 및 목표

• 단어 수준에서만 작동하여 어형 패턴을 忽略하는 표준 NMT 모델의 한계를 해결하기 위해.
• 목표어 측 디코더에 문자 수준 정보를 통합하여 저자원 신경 기계 번역을 향상시키기 위해.
• 대규모 어휘 번역 작업에서 메모리 비용을 줄이기 위해 근사 소프트맥스 레이어를 사용하기 위해.
• 목표어 측에서 문자 인식 임베딩과 표준 임베딩을 조합함으로써 일반화 성능을 향상시키는 효과를 입증하기 위해.

제안 방법

• 어구나 서브워드의 문자 시퀀스를 임베딩 레이어와 소프트맥스 레이어에서 모두 처리하는 CNN을 주목적 기반 인코더-디코더 아키텍처에 통합한다.
• 목표어 측에서 문자 인식 임베딩을 표준 단어 임베딩과 융합하여 어형 변형을 더 잘 모델링한다.
• 문자 수준의 CNN을 사용하여 각 목표어나 서브워드의 철자에서 맥락 인식 표현을 생성한다.
• 대규모 목표어 어휘를 효율적으로 처리하기 위해 근사 소프트맥스 레이어를 적용하여 메모리 요구량을 줄인다.
• 영어에서 14개의 다양한 언어로의 번역을 위해 TED 다중목표 데이터셋에서 모델을 종합적으로 훈련한다.
• 교차 엔트로피 손실과 빔 서치 디코딩을 사용한 표준 NMT 목표 함수로 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 디코더에서 문자 인식 모델링이 저자원 설정에서 번역 성능을 향상시키는가?
• RQ2 목표어 측에서 문자 인식 임베딩과 표준 임베딩을 조합하면 번역 품질에 어떤 영향을 미치는가?
• RQ3 근사 소프트맥스 레이어를 사용하면 대규모 어휘에서 성능을 유지하면서 메모리 사용량을 줄일 수 있는가?
• RQ4 형태학적으로 다양한 언어 유형에 걸쳐 문자 인식 디코더는 얼마나 효과적인가?
• RQ5 신경 기계 번역에서 어형이 풍부한 언어에 대해 문자 수준 모델링은 어떤 영향을 미치는가?

주요 결과

• 문자 인식 디코더는 14개의 다양한 언어에서 단어 수준 및 서브워드 수준 기반 모델보다 일관된 BLEU 점수 향상을 달성한다.
• 저자원 설정에서 최대 +3.37 BLEU 포인트의 점수 향상을 기록하여 다양한 언어 가문 간 강력한 일반화 성능을 입증한다.
• 목표어 측에서 문자 인식 임베딩과 표준 임베딩을 융합하면 가장 뚜렷한 성능 향상이 발생한다.
• 근사 소프트맥스 레이어는 대규모 어휘에서 번역 품질에 손상 없이 메모리 사용량을 효과적으로 줄인다.
• 어형이 풍부한 언어에 대해 특히 효과적이며, 문자 수준 모델링이 어형 패턴을 단어 수준 모델보다 더 잘 포착한다.