[논문 리뷰] Dirichlet-Smoothed Word Embeddings for Low-Resource Settings

Jakob Jungmaier, Nora Kassner외 1명|arXiv (Cornell University)|2020. 06. 22.

Topic Modeling참고 문헌 7인용 수 5

한 줄 요약

이 논문은 자원이 적은 환경에서 표준 PPMI가 희귀어에 대해 보이는 편향을 완화하기 위해 Dirichlet 스무딩을 적용한 PPMI 단어 임베딩을 제안한다. 공현도 행렬에 Dirichlet 스무딩을 적용한 후에 절삭된 SVD를 수행함으로써, 이 방법은 소규모 코퍼스에서 뛰어난 성능을 보이며, 말타제와 룩셈부르크어와 같은 저자원 언어에서도 경쟁력 있는 결과를 얻어, word2vec과 PU-Learning을 모두 능가한다.

ABSTRACT

Nowadays, classical count-based word embeddings using positive pointwise mutual information (PPMI) weighted co-occurrence matrices have been widely superseded by machine-learning-based methods like word2vec and GloVe. But these methods are usually applied using very large amounts of text data. In many cases, however, there is not much text data available, for example for specific domains or low-resource languages. This paper revisits PPMI by adding Dirichlet smoothing to correct its bias towards rare words. We evaluate on standard word similarity data sets and compare to word2vec and the recent state of the art for low-resource settings: Positive and Unlabeled (PU) Learning for word embeddings. The proposed method outperforms PU-Learning for low-resource settings and obtains competitive results for Maltese and Luxembourgish.

연구 동기 및 목표

• 저자원 NLP 환경에서 PPMI가 희귀어에 대해 보이는 잘 알려진 편향을 해결하기 위해.
• 기존의 카운트 기반 단어 임베딩 방법이 word2vec과 GloVe와 같은 현대 기계학습 접근법보다 저데이터 환경에서 더 나은 성능을 낼 수 있는지 평가하기 위해.
• Dirichlet 스무딩이 희귀어 및 저빈도어에 대한 PPMI 기반 임베딩 향상에 얼마나 효과적인지 조사하기 위해.
• 위키피디아 덤프를 사용하여 말타제와 룩셈부르크어와 같은 저자원 언어에 대해 실용적 적용 가능성을 입증하기 위해.
• 재현 가능성과 향후 연구를 위해 공개된 구현을 제공하기 위해.

제안 방법

• PPMI를 계산하기 전에 공현도 행렬에 Dirichlet 스무딩을 적용하며, 스무딩 파라미터 λ를 통해 스무딩 정도를 제어한다.
• 스무딩된 공현도 확률을 사용하여 수정된 PMI 점수를 계산함으로써, 희귀어의 공현도를 과도하게 평가하는 것을 줄인다.
• 결과로 얻어진 스무딩된 행렬은 절삭된 특이값 분해(SVD)를 통해 조밀한 단어 임베딩를 도출한다.
• 최적의 λ 값은 검증된 유사도 작업 성능을 기반으로 하여 코퍼스 크기에 따라 선택되며, 더 큰 컨텍스트 창을 기반으로 유도된다.
• 단어 공현도를 수집하기 위해 대칭적 윈도잉 기법을 사용하고, 확률 추정을 위해 최대우도추정법을 적용한다.
• 저자원 언어의 경우, 유사한 크기의 단어어휘 코퍼스(예: enwik9)에서 유도된 λ 값을 전이하여 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 Dirichlet 스무딩된 PPMI 임베딩는 저자원 환경에서 PU-Learning과 word2vec과 같은 최첨단 방법을 능가할 수 있는가?
• RQ2 Dirichlet 스무딩은 소규모 코퍼스에서 PPMI의 희귀어에 대한 편향을 어떻게 완화하는가?
• RQ3 제안된 방법은 존재하는 접근법과 비교해 희귀어 유사도 작업에서 경쟁적인 성능을 달성하는가?
• RQ4 이 방법은 말타제와 룩셈부르크어와 같은 저자원 언어 및 멸종 위험에 처한 언어에 얼마나 일반화될 수 있는가?
• RQ5 성능는 스무딩 파라미터 λ의 선택에 얼마나 민감한가? 그리고 효율적으로 최적화할 수 있는가?

주요 결과

• SVD-PPMI에 Dirichlet 스무딩을 적용한 SVD-PPMI λ는 enwik9의 첫 100만 자와 200만 자에서 word2vec SGNS와 PU-Learning을 모두 능가하며, 저데이터 환경에서 뛰어난 성능을 보였다.
• RW(Rare Word) 유사도 데이터셋에서 최고의 성능을 기록하여, 희귀어 표현에 대해 매우 효과적임을 시사한다.
• 말타제와 룩셈부르크어에 대해서도 경쟁 가능한 결과를 얻었으며, PU-Learning을 능가하고 저자원 언어 모델링에 잠재력을 보였다.
• 코퍼스 크기가 커질수록 성능이 향상되지만, SVD-PPMI λ의 이점은 데이터 희소성이 가장 심각한 소규모 코퍼스에서 가장 두드러진다.
• 최적의 λ 값은 코퍼스 크와 함께 증가하며, 더 큰 enwik9 세그먼트에서 유도된 λ 값을 저자원 언어 모델에 전이함으로써 안정성을 확보하였다.
• 저자들은 코드를 공개하여 재현 가능성과 다른 저자원 환경에의 확장 가능성을 보장하였다.