[논문 리뷰] Unsupervised POS Induction with Word Embeddings

Chu‐Cheng Lin, Waleed Ammar외 2명|arXiv (Cornell University)|2015. 03. 23.

Natural Language Processing Techniques참고 문헌 20인용 수 17

한 줄 요약

이 논문은 비지도 학습 POS 유도에서 전통적인 다항분포 단어 발현 모델을 사전에 훈련된 단어 임베딩 위의 다변량 정규분포로 대체함으로써 여덟 개 언어에서 성능을 크게 향상시킨다. 핵심 발견은 스킵그램 임베딩에서 더 작은 컨텍스트 창 크기(예: w=1)가 더 나은 문법 정보를 제공하며, 원시 단어 유형 대신 임베딩 위에 정규분포를 사용하는 경우 더 우수한 POS 유도 결과를 얻을 수 있다는 것이다.

ABSTRACT

Unsupervised word embeddings have been shown to be valuable as features in supervised learning problems; however, their role in unsupervised problems has been less thoroughly explored. In this paper, we show that embeddings can likewise add value to the problem of unsupervised POS induction. In two representative models of POS induction, we replace multinomial distributions over the vocabulary with multivariate Gaussian distributions over word embeddings and observe consistent improvements in eight languages. We also analyze the effect of various choices while inducing word embeddings on "downstream" POS induction results.

연구 동기 및 목표

• 단어 임베딩이 지도 학습 외의 맥락에서 비지도 학습 POS 유도를 향상시킬 수 있는지 조사하기 위해.
• 단어 임베딩의 문법적 내용을 측정하는 평가 지표의 부족을 해결하기 위해.
• 기존의 POS 유도 모델(히든 마르코프 모델 및 CRF 오토에인코더)을 연속형 임베딩을 사용하도록 재구성하기 위해.
• 다양한 임베딩 생성 방법이 최종 POS 유도 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 히든 마르코프 모델에서 다항분포 발현 분포를 사전에 훈련된 단어 임베딩 위의 다변량 정규분포로 대체한다.
• POS 태그가 주어졌을 때 단어의 임베딩 조건부 확률을 평균 μₜ와 공분산 Σₜ를 가진 정규분포로 모델링한다.
• 표준 스킵그램과 구조화된 스킵그램 임베딩을 사용하며, 다양한 컨텍스트 창 크기와 차원 수를 적용한다.
• 비교를 위해 동일한 정규분포 발현 모델을 CRF 오토에인코더 아키텍처에 적용한다.
• 히든 마르코프 모델은 EM 알고리즘을, CRF 오토에인코더는 확률적 경사 하강법을 사용하여 모델을 훈련한다.
• 여덟 개 언어에서 다양한 임베딩 유형, 창 크기, 차원 수를 사용하여 V-메이저를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비지도 학습 POS 유도 모델에서 이산적인 단어 유형을 연속형 단어 임베딩으로 대체하면 성능 향상이 이루어지는가?
• RQ2 임베딩 모델의 선택—특히 컨텍스트 창 크기—가 POS 유도를 위한 임베딩의 문법적 품질에 어떤 영향을 미치는가?
• RQ3 임베딩 위에 정규분포를 사용하는 것이 히든 마르코프 모델과 CRF 오토에인코더에서 기존의 다항분포 발현 모델보다 우수한가?
• RQ4 임베딩 차원 수와 모델 아키텍처가 POS 유도 결과에 얼마나 큰 영향을 미치는가?
• RQ5 비지도 학습 POS 유도가 단어 임베딩의 문법적 내용을 평가하는 진단 도구로 사용될 수 있는가?

주요 결과

• 다양한 언어에서 다변량 정규분포 발현 모델을 단어 임베딩에 적용하면 원시 단어 유형에 기반한 다항분포 모델보다 일관되게 더 높은 POS 유도 성능을 기록한다.
• 스킵그램 임베딩에서 더 작은 컨텍스트 창 크기(예: w=1)가 더 큰 창보다 유의미하게 높은 V-메이저 점수를 기록하며, 이는 짧은 범위의 컨텍스트 모델이 더 많은 문법 정보를 포착함을 확인한다.
• 최고의 V-메이저 점수 0.504는 20차원 임베딩(d=20)에서 달성되었으며, 더 높은 차원(예: d=100)에서는 성능이 떨어졌다(0.460).
• 특히 작은 창 크기에서, 구조화된 스킵그램 임베딩이 표준 스킵그램 임베딩보다 더 뛰어난 성능을 보였다.
• 모델이 학습한 POS 카테고리의 중심점은 종종 추상적 또는 기능 어휘(예: 동사에 대해 'entails', 'deems')와 유사한 위치에 위치해 있어, 임베딩 공간에서의 중심성 개념이 언어적 직관과 일치하지 않을 수 있음을 시사한다.
• 상승 기반 실험을 통해 단어 임베딩이 문법적으로 유사한 단어들을 군집화함을 확인하였으며, 이는 임베딩 공간에 문법적 유사성이 포함되어 있음을 검증한다.