[논문 리뷰] Unsupervised Word Discovery with Segmental Neural Language Models.

Kazuya Kawakami, Chris Dyer외 1명|arXiv (Cornell University)|2018. 09. 27.

Natural Language Processing Techniques참고 문헌 10인용 수 11

한 줄 요약

이 논문은 신경망과 베이지안 비모수적 사전분포를 조합하여, 분할되지 않은 문자 시퀀스에서 단어 유사 단위를 자동으로 탐지하는 세그멘탈 신경망 언어 모델을 제안한다. 이 모델은 예측 성능에서 LSTM 언어 모델을 능가하며, 비가역적 정규화 기법을 통해 어휘 메모리에 과도하게 의존하는 것을 방지함으로써 최신의 단어 발굴 방법과 경쟁 가능한 분할 결과를 도출한다.

ABSTRACT

We propose a segmental neural language model that combines the representational power of neural networks and the structure learning mechanism of Bayesian nonparametrics, and show that it learns to discover semantically meaningful units (e.g., morphemes and words) from unsegmented character sequences. The model generates text as a sequence of segments, where each segment is generated either character-by-character from a sequence model or as a single draw from a lexical memory that stores multi-character units. Its parameters are fit to maximize the marginal likelihood of the training data, summing over all segmentations of the input, and its hyperparameters are likewise set to optimize held-out marginal likelihood. To prevent the model from overusing the lexical memory, which leads to poor generalization and bad segmentation, we introduce a differentiable regularizer that penalizes based on the expected length of each segment. To our knowledge, this is the first demonstration of neural networks that have predictive distributions better than LSTM language models and also infer a segmentation into word-like units that are competitive with the best existing word discovery models.

연구 동기 및 목표

• 분할되지 않은 문자 시퀀스에서 형태소 및 단어와 같은 의미 있는 언어 단위를 자동으로 탐지할 수 있는 신경망 언어 모델을 개발하는 것.
• 신경망의 표현 능력과 베이지안 비모수적 기법의 구조 학습 능력을 융합하여 분할 정확도와 일반화 능력을 향상시키는 것.
• 학습 데이터의 가능한 모든 분할에 대한 주변 가능도를 최대화함으로써 모델의 하이퍼파라미터와 파라미터를 최적화하는 것.
• 장기적인 분할에 대한 과도한 의존을 방지하고 일반화 능력을 향상시키기 위해, 분할 길이의 기대값을 페널티로 삼는 미분 가능한 정규화 기법을 도입하는 것.
• 모델이 LSTM 언어 모델보다 뛰어난 예측 성능를 보이며 동시에 경쟁 가능한 단어 유사 분할 결과를 도출할 수 있음을 입증하는 것.

제안 방법

• 모델은 각 세그먼트가 순환 시퀀스 모델을 통해 문자 단위로 생성되거나, 다중 문자 단위를 저장하는 어휘 메모리에서 전체적으로 추출되는 방식으로 텍스트를 생성한다.
• 모델 파라미터는 입력 시퀀스의 가능한 모든 분할에 대한 주변 가능도를 최대화하도록 학습되며, 분할 불확실성을 통합한다.
• 하이퍼파라미터는 검증 데이터의 주변 가능도를 최적화하여 자동으로 선택된다.
• 분할의 기대 길이를 페널티로 삼는 미분 가능한 정규화 기법이 도입되어, 어휘 메모리의 과도한 사용을 억제하고 일반화 능력을 향상시킨다.
• 베이지안 비모수적 사전분포를 사용하여 어휘 크기를 사전에 지정하지 않고도 데이터 기반으로 유의미한 단위의 수를 탐지할 수 있도록 한다.
• 모델 아키텍처는 분할과 어휘 단위의 이산성에도 불구하고 기울기 기반 최적화를 통해 엔드 투 엔드 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 신경망 언어 모델은 원시 문자 시퀀스에서 분할 경계와 의미 있는 언어 단위를 동시에 학습할 수 있는가?
• RQ2 신경망과 베이지안 비모수적 사전분포를 융합함으로써 기존 표준 모델 대비 예측 성능과 분할 품질이 향상되는가?
• RQ3 미분 가능한 정규화 기법은 어휘 메모리에 대한 과도한 의존을 효과적으로 제어하고 비지도 단어 발굴에서 일반화 능력을 향상시킬 수 있는가?
• RQ4 이 모델의 예측 성능는 분할되지 않은 텍스트에서 LSTM 언어 모델과 비교해 어떻게 되는가?
• RQ5 발견된 세그먼트가 형태소나 단어와 같은 의미적으로 유의미한 단위와 어느 정도 일치하는가?

주요 결과

• 모델은 검증 데이터에 대해 표준 LSTM 언어 모델보다 더 뛰어난 예측 성능를 보이며, 언어 모델링 능력이 향상됨을 입증한다.
• 모델은 기존 최고 수준의 비지도 단어 발굴 모델과 비교해도 경쟁 가능한 분할 품질을 확보한다.
• 미분 가능한 정규화 기법은 어휘 메모리의 과도한 사용을 성공적으로 감소시켜 일반화 능력 향상과 더 견고한 분할 결과를 이끌어낸다.
• 모델은 사전 분할 없이도 분할되지 않은 문자 시퀀스에서 형태소 및 단어와 같은 언어 단위를 직접 학습한다.
• 모든 분할에 대한 주변 가능도 최적화를 통해 모델은 구조와 파라미터를 원칙적인 방식으로 엔드 투 엔드로 동시에 학습할 수 있다.
• 이 연구는 LSTM 모델의 예측 성능를 뛰어넘으면서 동시에 단어 유사 단위를 탐지할 수 있는 신경망 모델의 첫 번째 실증 사례를 제공한다.