[논문 리뷰] An Empirical Study on Post-processing Methods for Word Embeddings

Shuai Tang, Mahta Mousavi외 1명|arXiv (Cornell University)|2019. 05. 27.

Topic Modeling참고 문헌 39인용 수 8

한 줄 요약

이 논문은 단어 임베딩의 후처리 방법을 제안하며, 벡터 스무딩을 중심화된 커널 일치도(Centralised Kernel Alignment, CKA)를 사용해 반사형 행렬에 대한 수축 추정으로 프레임워크화한다. 이를 통해 유사도 작업에서 성능 향상을 이끌어내며 수작업으로 주성분을 조정하지 않아도 되며, 특히 자료 부족 상황에서 기존 방법들을 능가한다.

ABSTRACT

Word embeddings learnt from large corpora have been adopted in various applications in natural language processing and served as the general input representations to learning systems. Recently, a series of post-processing methods have been proposed to boost the performance of word embeddings on similarity comparison and analogy retrieval tasks, and some have been adapted to compose sentence representations. The general hypothesis behind these methods is that by enforcing the embedding space to be more isotropic, the similarity between words can be better expressed. We view these methods as an approach to shrink the covariance/gram matrix, which is estimated by learning word vectors, towards a scaled identity matrix. By optimising an objective in the semi-Riemannian manifold with Centralised Kernel Alignment (CKA), we are able to search for the optimal shrinkage parameter, and provide a post-processing method to smooth the spectrum of learnt word vectors which yields improved performance on downstream tasks.

연구 동기 및 목표

• 유사도 및 어휘 유추 성능 향상을 위한 원칙적이고 자동화된 후처리 방법의 부족 문제를 해결하기 위해.
• 기존 후처리 기법들을 기반으로 한 그래姆 행렬의 등방성 구조로의 수축 추정으로 재구성하기 위해.
• 수동 히ュ리스틱(예: 상위 주성분 제거)에 의존하지 않고 데이터 기반 최적화 기반 접근을 통해 최적의 수축 파라미터를 결정하는 방법을 개발하기 위해.
• 반사형 리만 기하학과 CKA 기반 유사도 측정을 활용해 자료 부족 상황에서도 강인성과 성능을 향상시키기 위해.
• 유럽 기하학 가정이 실패하는 분야를 포함해, 단어 임베딩을 초월한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 후처리를 수축 추정으로 프레임워크화: 사전학습된 단어 벡터에서 추정한 그래姆 행렬과 스케일된 항등행렬(목표)을 혼합 비율 β를 통해 조합한다.
• 혼합 행렬과 오라클 그래姆 행렬 간의 유사도 측정으로 중심화된 커널 일치도(Centralised Kernel Alignment, CKA)를 사용하며, 등방성 스케일링 및 회전에 대해 불변이다.
• CKA의 로그에 대한 하한을 유도한다 (식 2), 이는 최적화의 목적 함수로 사용된다.
• 하한의 이阶 도함수를 최적화하여 최적의 수축 파라미터 β⋆를 찾으며, 스펙트럼 스무딩을 보장한다.
• 양의 준정부행렬의 반사형 리만 다양체 상에서 최적화를 수행하여 그래姆 행렬의 기하학적 구조를 존중한다.
• 스킵그램, CBOW, GloVe 단어 벡터에 이 방법을 적용하고, 단어 및 문장 유사도 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 단어 임베딩의 후처리는 등방성 구조로의 그래姆 행렬 수축 추정으로 체계적으로 프레임워크화할 수 있는가?
• RQ2 반사형 리만 다양체 상에서 CKA 기반 유사도를 사용해 수축 파라미터를 최적화하면, 상위 주성분 제거와 같은 히ュ리스틱 방법보다 성능이 뛰어나게 되는가?
• RQ3 기존의 수축 및 후처리 기반 방법과 비교해 자료 부족 상황에서 제안된 방법의 성능은 어떠한가?
• RQ4 로그-CKA에 대한 유도된 하한은 실무에서 최적의 수축 파라미터를 식별하는 신뢰할 수 있는 대체 지표가 되는가?
• RQ5 이 방법은 스킵그램, CBOW, GloVe와 같은 다양한 사전학습 알고리즘과 임베딩 차원에 대해 일반화 가능한가?

주요 결과

• 제안된 방법은 스킵그램 및 CBOW 단어 임베딩에서 일관되고 안정적인 성능 향상을 달성하며, 상위 주성분 제거 및 Ledoit-Wolf 수축 방법보다 뛰어난 성능을 보였다.
• GloVe 임베딩에서는 상위 주성분 제거보다 약간 열등했지만, 자동 파라미터 선택이라는 점을 감안하면 의미 있는 성능 향상을 제공했다.
• 제한된 학습 자료 상황에서, 단어 유사도 작업에서 두 비교 방법보다 유의미하게 뛰어난 성능을 보이며 자료 부족에 대한 강인성을 입증했다.
• 임베딩 차원이 200~600 범위에서 일관된 성능을 유지하여 확장성과 일반화 능력을 입증했다.
• 하한 목적 함수의 이阶 도함수는 최적의 수축 파라미터 β⋆를 효과적으로 식별하며, 이론적 유도의 타당성을 검증했다.
• 수작업으로 주성분을 선택하지 않아도 되며, 히ュ리스틱 기반 후처리 기법에 대한 원칙적인 대안을 제공한다.