[논문 리뷰] Unsupervised Lemmatization as Embeddings-Based Word Clustering

Rudolf Rosa, Zdeněk Žabokrtský|arXiv (Cornell University)|2019. 08. 22.

Natural Language Processing Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 Jaro-Winkler 편집 거리와 FastText 단어 임베딩 코사인 유사도를 조합한 새로운 거리 측정 방법을 사용하여 변화형 어형을 군집화하는 비지도 학습적 어간화 방법을 제안한다. 23개 언어에서 28개 데이터셋에 대해 평가한 결과, 기준 방법보다 23개 데이터셋에서 성능이 뛰어나며, 중앙값 오차 감소율은 23%이며, 슬라브어에서는 최대 50%까지 향상되어, 임베딩 기반 군집화가 비지도 어간화에 효과적임을 입증한다.

ABSTRACT

We focus on the task of unsupervised lemmatization, i.e. grouping together inflected forms of one word under one label (a lemma) without the use of annotated training data. We propose to perform agglomerative clustering of word forms with a novel distance measure. Our distance measure is based on the observation that inflections of the same word tend to be similar both string-wise and in meaning. We therefore combine word embedding cosine similarity, serving as a proxy to the meaning similarity, with Jaro-Winkler edit distance. Our experiments on 23 languages show our approach to be promising, surpassing the baseline on 23 of the 28 evaluation datasets.

연구 동기 및 목표

• 저자원 언어에서 어간화를 위한 레이블링된 학습 데이터 부족 문제를 해결하기 위해.
• 언어에 따라 달라지는 규칙 기반 어간 추출의 한계를 극복하기 위해.
• 레이블이 없는 데이터에 의존하지 않고 변화형 어형을 군집화하는 비지도 어간화 방법을 개발하기 위해.
• 단어 임베딩을 통한 의미 유사도와 문자 수준 유사도를 융합하여 군집 정확도를 향상시키기 위해.
• 특히 저자원 언어와 형태소가 풍부한 언어에서 다양한 형태학적 특성을 가진 언어에 대해 방법을 평가하기 위해.

제안 방법

• 이 방법은 다음의 병합 거리 측정 방식을 사용한다: $ dist(a,b) = 1 - JW(a,b) \cdot \frac{\cos(a,b) + 1}{2} $, 여기서 Jaro-Winkler 편집 거리와 FastText 임베딩의 코사인 유사도를 통합한다.
• 어형은 소문자화, Unidecode를 통한 ASCII 변환, 그리고 초기 모음 이외의 모음 제거를 통해 사전 처리되어 노이즈를 줄인다.
• 평균 연결 기반의 계층적 군집화를 적용하며, 평균 군집 거리가 임계값 $ t = 0.4 $ 를 초과할 경우 군집화를 중단하여 군집의 세분성(granularity)을 제어한다.
• 계산 비용을 줄이기 위해, 간소화된 형태의 첫 3자에 기반해 어형을 하이퍼군집으로 먼저 그룹화한다.
• OOV(Out-of-Vocabulary) 단어는 임계값 이내일 경우 가장 가까운 군집에 할당하고, 그렇지 않으면 새로운 군집을 생성한다.
• POS 태그는 군집을 정교화하는 수단으로 고려되었지만, 비지도 POS 추론에서 성능이 열악하여 최종 비지도 설정에서는 사용하지 않는다.

실험 결과

연구 질문

• RQ1 문자 유사도와 단어 임베딩 유사도를 조합한 거리 측정 방식이 레이블이 없는 데이터에서 변화형 어형을 어간으로 군집화하는 데 효과적인가?
• RQ2 다양한 언어에서 전체 형태 기반 또는 접두사 기반 군집화와 같은 기준 방법과 비교해 본다면, 제안된 방법은 어떤가?
• RQ3 서브워드 인식 임베딩(FastText)을 통합할 경우, 전통적 단어 임베딩 대비 군집 성능 향상 정도는 어느 정도인가?
• RQ4 현재 방법의 한계는 동음이의어, 대체어, 비어형 유사성 문제를 어떻게 다루는가?
• RQ5 형태소가 풍부한 언어, 특히 슬라브어 및 Germanic 언어에 대해 이 방법은 효과적으로 일반화되는가?

주요 결과

• 제안된 방법은 평가된 28개 데이터셋 중 23개에서 기준 방법을 뛰어넘어 다양한 언어에서 광범위한 효과를 입증한다.
• 기준 방법 대비 중앙값 오차 감소율은 23%이며, 체코어나 폴란드어와 같은 슬라브어에서는 최대 50%까지 향상된다.
• 병합 거리 측정 방식($JW \cdot \cos$)은 개별적으로 사용된 요소보다 유의미하게 뛰어나며, 오직 두 개의 데이터셋만에서 코사인 유사도 단독 사용이 유리하다.
• 어형이 거의 없는 분석적 언어인 한국어나 일본어에서는 성능이 열악하며, 이는 기준 군집화 방식이 이미 거의 최적에 가까웠기 때문이다.
• 이탤리아어 트위터나 고대 라틴어와 같은 도전적인 데이터셋에서는 성능 저하가 발생하여, 노이즈가 많거나 비표준 텍스트에 민감함을 보인다.
• 이 방법은 문맥에 의존하지 않는 단어 임베딩의 특성상 동음이의어와 대체어 문제를 해결하기 어려워 하며, 향후 BERT와 같은 문맥 기반 임베딩 도입이 필요하다.