[논문 리뷰] A Character-Word Compositional Neural Language Model for Finnish

Matti Lankinen, Hannes Heikinheimo외 3명|arXiv (Cornell University)|2016. 12. 10.

Natural Language Processing Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 고도로 변화형이 많은 언어인 페투어어어를 효과적으로 모델링할 수 있도록 문자 수준의 입력과 단어 수준의 내부 표현, 문자 수준의 출력을 결합한 문자-단어-문자(C2W2C) 신경망 언어 모델을 제안한다. 이 모델은 어휘 외 단어에 대해 뛰어난 성능을 보이며, 문장의 어순과 의미를 정확히 반영하는 문자 단위의 생성을 통해, 어간 변화형 처리에서 전통적인 단어 수준 모델을 능가한다. 다만 약간 높은 퍼플렉서티를 보인다.

ABSTRACT

Inspired by recent research, we explore ways to model the highly morphological Finnish language at the level of characters while maintaining the performance of word-level models. We propose a new Character-to-Word-to-Character (C2W2C) compositional language model that uses characters as input and output while still internally processing word level embeddings. Our preliminary experiments, using the Finnish Europarl V7 corpus, indicate that C2W2C can respond well to the challenges of morphologically rich languages such as high out of vocabulary rates, the prediction of novel words, and growing vocabulary size. Notably, the model is able to correctly score inflectional forms that are not present in the training data and sample grammatically and semantically correct Finnish sentences character by character.

연구 동기 및 목표

• 높은 어휘 외 비율과 어휘 크기의 급격한 증가로 인해 어형이 매우 복잡한 페투어어어를 모델링하는 데 발생하는 과제를 해결하기 위해.
• 입력과 출력을 문자 수준에서 처리하면서도 내부적으로 단어 수준의 표현을 유지하여 성능을 향상시키는 신경망 언어 모델을 개발하기 위해.
• 문자 수준 모델이 페투어어어의 어형을 효과적으로 학습하고, 훈련 중에 나타나지 않은 올바른 어형 형태를 생성할 수 있는지 평가하기 위해.
• 전통적인 단어 수준의 LSTM 언어 모델과의 성능 비교를 통해 퍼플렉서티, 일반화 능력, 텍스트 생성 품질 측면에서 C2W2C 모델의 성능을 평가하기 위해.

제안 방법

• C2W2C 모델은 세 단계 아키텍처를 사용한다: 양방향 LSTMs 기반의 문자-단어(C2W) 인코더가 문자 시퀀스에서 단어 임베딩을 생성한다.
• 단어 수준의 임베딩을 처리하고 문맥상 다음 단어를 예측하기 위해 표준 LSTM 언어 모델을 사용한다.
• Cho 등 [5]의 영감을 얻어 개발된 단어-문자(W2C) 디코더가 예측된 단어 임베딩을 바탕으로 출력 문자를 생성한다.
• 사전에 서브워드 토크나이저나 단어 분류를 사용하지 않고 단일 패assing으로 훈련하여 엔드 투 엔드 학습을 가능하게 한다.
• 이 아키텍처는 각 구성 요소를 별도로 훈련할 수 있도록 하며, 자동회귀 스코어링과 텍스트 생성을 모두 지원한다.
• 텍스트 생성은 k=20의 단어 빔과 k=10의 문장 빔을 사용한 빔 서치를 통해 수행되어 유창성과 문법 정확도가 향상된다.

실험 결과

연구 질문

• RQ1 어휘 수준의 어휘집합에 의존하지 않고도 문자 수준 언어 모델이 페투어어어의 어형 복잡성을 효과적으로 다룰 수 있는가?
• RQ2 훈련 데이터에 존재하지 않는 어휘 외 어형 형태에 대해 C2W2C 모델은 어떻게 성능을 보이는가?
• RQ3 새로운 어형 형태를 포함한 문장에서, 문법적으로 잘못된 문장은 올바른 문장보다 유의미하게 낮은 점수를 받는가?
• RQ4 문자 단위로 샘플링할 때 모델은 유창하고 의미적으로 일관된 페투어어어 텍스트를 생성할 수 있는가?
• RQ5 퍼플렉서티와 수렴 속도 측면에서 C2W2C 모델은 표준 단어 수준의 LSTM 모델과 어떻게 비교되는가?

주요 결과

• 훈련 데이터에 포함되지 않은 어형 형태를 가진 문장에 대해서도 C2W2C 모델은 문법적으로 올바른 문장에 대해 더 낮은 점수를 할당한다.
• 빔 서치를 통해 문자 단위로 의미적이고 문법적으로 올바른 페투어어어 문장을 생성할 수 있으며, 스위치 샘플링보다 유창성이著격히 향상된다.
• 단어 수준 기반 모델 대비 약간 높은 퍼플렉서티와 느린 수렴 속도를 보이지만, C2W2C는 어휘 외 단어를 효과적으로 처리하고, 훈련 중에 보이지 않은 어형 형태로 일반화한다.
• 모델은 올바른 의미 역할(예: 동사 앞에 주어)에 대해 더 좋은 점수를 할당하고, 잘못된 어순과 품사 교체를 방지한다.
• 标 punctuaction 처리가 여전히 과제로 남아 있으며, 의문문 맥락에서도 마침표를 질문표보다 선호한다.
• 문자 수준의 모델링에 내부적으로 단어 수준의 표현을 유지하는 것이 페투어어어와 같이 어형이 풍부한 언어에 대해 가능함을 입증하였으며, 파rameter 수를 줄이면서도 언어 일반화 능력을 유지한다.