[논문 리뷰] Compositional Morphology for Word Representations and Language Modelling

Jan A. Botha, Phil Blunsom|arXiv (Cornell University)|2014. 05. 16.

Topic Modeling참고 문헌 45인용 수 150

한 줄 요약

이 논문은 어형이 풍부한 언어에서 성능을 향상시키기 위해 어근 벡터의 덧셈 조합으로 단어를 표현하는 조합형 형태론 인식 연속 공간 언어 모델(CSLM)을 제안한다. 이 모델은 로그-선형 언어 모델에 형태론적 인식 표현을 통합함으로써, 러시아어나 체코어와 같은 형태학적으로 복잡한 언어에서 퍼즐러피티를 감소시키고 번역 성능을 최대 1.2 BLEU 포인트 향상시킨다.

ABSTRACT

This paper presents a scalable method for integrating compositional morphological representations into a vector-based probabilistic language model. Our approach is evaluated in the context of log-bilinear language models, rendered suitably efficient for implementation inside a machine translation decoder by factoring the vocabulary. We perform both intrinsic and extrinsic evaluations, presenting results on a range of languages which demonstrate that our model learns morphological representations that both perform well on word similarity tasks and lead to substantial reductions in perplexity. When used for translation into morphologically rich languages with large vocabularies, our models obtain improvements of up to 1.2 BLEU points relative to a baseline system using back-off n-gram models.

연구 동기 및 목표

• 형태학적 변동으로 인한 통계적 언어 모델의 데이터 희소성 문제를 해결한다.
• 수동으로 만든 특징에 의존하지 않고 형태학적 구조를 확률적 연속 공간 언어 모델(CSLM)에 통합한다.
• 조합형 벡터 표현을 통해 OOV(사전 외 단어) 처리를 효과적으로 가능하게 한다.
• 저자원 및 형태학적으로 복잡한 환경에서 내재적(단어 유사도) 및 외재적(기계 번역) 성능을 향상시킨다.
• 효율적 분해 및 클래스화 기법을 활용해 실제 기계 번역 디코더에 통합 가능하고 확장성이 뛰어나다.

제안 방법

• 각 요소가 어간, 접두어, 접미어 등 어형에 해당하는 요소일 때, 단어를 요소 벡터의 합으로 표현한다.
• 각 단어를 가변 길이의 요소 시퀀스로 매핑하는 결정적 형태학적 분할 함수 μ를 사용한다.
• 덧셈 조합을 통해 단어 표현을 계산한다: r̃_v = Σ_{f∈μ(v)} r_f로, 관련된 형태 간 통계적 강도를 공유한다.
• 표면 형태를 요소로 포함시켜 조합적이지 않은 단어 형태를 유지하고 순서 불변성을 깨뜨린다.
• 추론 속도 향상을 위해 단어 클래스화를 적용하여 기계 번역 디코더에 통합할 수 있도록 한다.
• 효율적 디코딩을 위한 정규화된 확률 추정을 사용하는 로그-선형 언어 모델(LBL) 프레임워크로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 조합형 형태론적 표현은 여러 언어에서 내재적 단어 유사도 성능을 향상시키는가?
• RQ2 연속 공간 언어 모델에 형태학적 구조를 통합하면 기준 n-gram 및 CSLM 모델 대비 퍼즐러피티를 감소시키는가?
• RQ3 형태론 인식 언어 모델은 특히 형태학적으로 풍부한 언어에서 기계 번역 품질을 얼마나 향상시키는가?
• RQ4 학습된 형태소 벡터는 저자원 환경에서 OOV 단어 처리에 얼마나 효과적인가?
• RQ5 제안된 모델은 성능을 저하시키지 않고 실시간 기계 번역 디코더에 효율적으로 통합될 수 있는가?

주요 결과

• 제안된 CLBL++ 모델은 영어-러시아어 번역에서 기준 시스템 대비 최대 1.2 BLEU 포인트 향상되었으며, 영어-체코어 번역에서는 1.0 포인트 향상되었고, 영어-스페인어 번역에서도 유사한 성과를 기록했다.
• 모델은 테스트된 모든 언어에서 퍼즐러피티를 크게 감소시켰으며, 특히 러시아어나 체코어와 같은 형태학적으로 풍부한 언어에서 가장 뚜렷한 개선을 보였다.
• 다양한 언어에서 인간 평가와의 단어 유사도 상관계수가 향상되었으며, 더 큰 학습 데이터를 사용한 더 복잡한 모델보다도 뛰어난 성능을 보였다.
• 형태소 벡터의 덧셈 조합은 저빈도 및 미사용 단어 형태에 대해 효과적인 OOV 단어 표현을 가능하게 하였다.
• 정규화된 CSLM을 cdec 디코더에 통합하는 데 성공했으며, 단어 클래스화 덕분에 실시간 디코딩이 가능하고 효율적이었다.
• 모델의 성능 향상은 형태학적으로 복잡한 언어에서 가장 두드러졌으며, 독일어의 경우 성능 향상이 제한되었는데, 이는 双어 커버리지 부족 때문이지 언어 모델 품질 때문이 아니었다.