[논문 리뷰] Word2Vec is a special case of Kernel Correspondence Analysis and Kernels for Natural Language Processing

Hirotaka Niitsuma, Minho Lee|arXiv (Cornell University)|2016. 05. 17.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 Word2Vec을 커널 대응 분석(KCA)의 특수 케이스로 설정하며, 대규모 자연어 처리(NLP) 작업에서 CA를 적용할 수 있도록 메모리 효율적이고 지연되는 희소 랜덤화 SVD(DSSVD) 알고리즘을 도입한다. 또한 노이즈가 섞인 공현(co-occurrence)을 걸러내는 데 성공한 새로운 '꼬리 잘라내기 커널(tail-cut kernel)'을 제안하여 기존의 단어 벡터 방법보다 뛰어난 성능을 내며, 단어 유사도 벤치마크에서 최신 기준 수준의 성능을 달성하면서도 결정적인 결과와 낮은 초모수 민감도를 유지한다.

ABSTRACT

We show that correspondence analysis (CA) is equivalent to defining a Gini index with appropriately scaled one-hot encoding. Using this relation, we introduce a nonlinear kernel extension to CA. This extended CA gives a known analysis for natural language via specialized kernels that use an appropriate contingency table. We propose a semi-supervised CA, which is a special case of the kernel extension to CA. Because CA requires excessive memory if applied to numerous categories, CA has not been used for natural language processing. We address this problem by introducing delayed evaluation to randomized singular value decomposition. The memory-efficient CA is then applied to a word-vector representation task. We propose a tail-cut kernel, which is an extension to the skip-gram within the kernel extension to CA. Our tail-cut kernel outperforms existing word-vector representation methods.

연구 동기 및 목표

• 수천 개의 카테고리가 포함된 대규모 NLP 작업에 대해 대응 분석(CA)을 적용하는 데 있어 메모리 및 계산 비용이 지나치게 높은 문제를 해결하기 위해.
• Word2Vec과 CA 사이의 이론적 연결 고리를 확립하여, Word2Vec이 커널 대응 분석(KCA)의 특수 케이스임을 보여주기 위해.
• 신경망 기반 단어 벡터 모델(예: Word2Vec)이 무작위 초기화와 초모수 민감도로 인해 악영향을 받는 문제를 해결하기 위해 메모리 효율적이고 결정적인 대안을 개발하기 위해.
• 공현 윈도우 내의 부정확한 공현을 걸러내는 데 성공한 새로운 '꼬리 잘라내기 커널'을 제안하여 단어 벡터의 품질을 향상시키기 위해.
• 커널화된 CA가 표준 유사도 벤치마크에서 최신 기준 수준의 단어 표현 방법보다 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 밀도 있는 행렬 전개를 피하는 지연되는 희소 랜덤화 SVD(DSSVD) 알고리즘을 제안하여, 대규모 연도표(contingency table)의 경우 메모리 사용량과 계산 시간을 크게 줄인다.
• CA를 연도표 위의 주성분 분석(PCA)으로 재정의하며, 일치하는 단어 벡터의 카테고리 데이터에 대해 원-핫 인코딩된 데이터에서 가니 지수 기반 분산 측정과 동일함을 보여준다.
• 공현 통계에서 유도된 특수 커널을 사용하여 CA에 비선형 커널 확장을 도입함으로써 비선형 특징 추출을 가능하게 한다.
• 공현 빈도에 임계값 규칙을 적용하여 '꼬리 잘라내기 커널'을 개발함으로써 통계적으로 유의미한 단어 쌍만 유지하여 노이즈를 감소시킨다.
• 꼬리 잘라내기 커널을 사용하여 단어 공현 행렬에 KCA를 적용함으로써, 무작위 초기화 없이 결정적인 고품질의 단어 벡터를 생성한다.
• 다양한 공현 행렬(N^skip (스킵-그램 유사), N^flat (플랫 윈도우), N^cut (꼬리 잘라내기 커널))에 대해 SVD 기반의 LCA와 KCA를 적용하고 성능을 비교한다.

실험 결과

연구 질문

• RQ1 수만 개의 단어 카테고리가 포함된 대규모 NLP 작업에 대해 대응 분석(CA)을 확장 가능한 방식으로 적용할 수 있는가?
• RQ2 Word2Vec은 수학적으로 커널 대응 분석(KCA)의 특정 사례와 동일한가?
• RQ3 CA의 커널화된 확장판이 신경망 기반 단어 벡터 모델(예: Word2Vec, GloVe)보다 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 꼬리 잘라내기 커널은 윈도우 크기 민감도를 감소시키면서도 단어 유사도 작업 성능을 향상시키는가?
• RQ5 반감독형 CA(Semi-supervised CA, SCA)는 레이블된 데이터(MEN 및 M.Turk)를 활용하여, 이질적인 비지도 학습 환경에서 단어 벡터 품질을 더욱 향상시킬 수 있는가?

주요 결과

• DSSVD 알고리즘은 표준 SVD의 10%, 랜덤화 SVD의 20% 수준의 메모리 사용량을 기록하였으며, 표준 SVD 대비 계산 속도를 100배 빠르게 하였다.
• 꼬리 잘라내기 커널은 WordSim, MEN, SimLex-999 등 여섯 개의 단어 유사도 벤치마크에서 최고 또는 거의 최고의 성능을 기록하여, SGNS, CBOW, GloVe, fastText를 모두 능가하였다.
• LCA는 플랫 윈도우 매트릭스에 대해 윈도우 크기에 매우 민감한 반면, 꼬리 잘라내기 커널은 윈도우 크기가 30 이상일 때도 안정적인 성능을 유지하여 초모수 의존도가 낮음을 보여주었다.
• SCA는 KCA 프레임워크 내에서 레이블된 데이터(MEN 및 M.Turk)를 활용하여 지도 학습을 수행함으로써, 대부분의 벤치마크에서 비지도 학습 기반 LCA보다 뛰어난 성능을 보였으며, KCA에서 반감독 학습의 가치를 입증하였다.
• CA의 결정적인 성격 덕분에 반복 실행 시 일관된 결과를 보였으며, 무작위 초기화로 인해 결과가 달라지는 Word2Vec과는 대조를 이룬다.
• Word2Vec과 CA 사이의 이론적 연결 고리는 검증되었으며, Word2Vec은 특정 커널과 선형 변환을 사용한 KCA의 특수 케이스임을 입증하였다.