[논문 리뷰] Improving a tf-idf weighted document vector embedding

Craig W. Schmidt|arXiv (Cornell University)|2019. 02. 26.

Topic Modeling참고 문헌 8인용 수 12

한 줄 요약

이 논문은 코퍼스 기반의 어휘 빈도 차이를 고려하여 단어 벡터의 가중합을 최적화함으로써 개선된 문서 임베딩 방법을 제안한다. 여기서는 역문헌 빈도(idf) 가중치와 주성분 분석(PCA) 후처리를 적용한다. idf-delta-pca 방법은 트립어드바이저 리뷰에서 doc2vec를 능가하며, CQADupStack에서도 특히 긴 문서에서 경쟁력 있는 성능을 보이며, PCA는 일관되게 성능 향상을 이룬다.

ABSTRACT

We examine a number of methods to compute a dense vector embedding for a document in a corpus, given a set of word vectors such as those from word2vec or GloVe. We describe two methods that can improve upon a simple weighted sum, that are optimal in the sense that they maximizes a particular weighted cosine similarity measure. We consider several weighting functions, including inverse document frequency (idf), smooth inverse frequency (SIF), and the sub-sampling function used in word2vec. We find that idf works best for our applications. We also use common component removal proposed by Arora et al. as a post-process and find it is helpful in most cases. We compare these embeddings variations to the doc2vec embedding on a new evaluation task using TripAdvisor reviews, and also on the CQADupStack benchmark from the literature.

연구 동기 및 목표

• 간단한 단어 벡터 가중합보다 더 효과적인 문서 임베딩 방법을 개발하기 위해.
• 문서의 어휘 빈도가 코퍼스 평균에서 얼마나 떨어져 있는지에 따라 문서 벡터를 최적화하면 의미적 유사도가 향상되는지 조사하기 위해.
• 다양한 가중 함수—idf, SIF, 및 서브샘플링—이 문서 임베딩 품질에 미치는 영향을 평가하기 위해.
• 공통 성분 제거(PCA 후처리) 기법이 문서 벡터 표현 품질 향상에 얼마나 효과적인지 평가하기 위해.
• 실제 리뷰 데이터와 표준 벤치마크에서 제안된 방법이 doc2vec보다 우월한지 비교하기 위해.

제안 방법

• 이 방법은 문서-어휘 빈도(tf_i)와 코퍼스-어휘 빈도(tf_ic)의 차이, 즉 δ_i = tf_i - tf_ic를 가중치로 사용하여 단어 벡터의 가중합으로 문서 벡터를 계산한다.
• 최적의 문서 벡터 u*는 δ_i * v_i의 가중합 벡터를 정규화하여 유도되며, 코시-슈바르츠 부등식을 활용해 단위 노름과 최대 코사인 유사도를 확보한다.
• 세 가지 가중 함수를 평가한다: 역문헌 빈도(idf), 부드러운 역빈도(SIF), word2vec 서브샘플링; 그 중 idf가 가장 우수한 성능을 보였다.
• 문서 벡터에서 첫 번째 주성분을 제거하기 위해 Arora 등이 제안한 공통 성분 제거 기법을 기반으로 PCA 후처리를 적용한다.
• 이 방법은 두 가지 형태로 구현된다: '센터'(고정된 코퍼스 가중 평균 사용)와 '델타'(문서별로 특정한 편차 사용); 각각 PCA 유무에 따라 적용된다.
• 새로운 트립어드바이저 리뷰 벤치마크와 CQADupStack 데이터셋에서, 복제 질문 탐지에 대해 ROC AUC를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 문서-어휘 빈도와 코퍼스-어휘 빈도의 차이를 가중치로 사용하면 문서 벡터 품질이 향상되는가?
• RQ2 idf, SIF, 또는 서브샘플링 중 어떤 가중 함수가 문서 임베딩 성능을 가장 높이는가?
• RQ3 PCA 기반 공통 성분 제거 기법은 문서 벡터 유사도 향상에 얼마나 효과적인가?
• RQ4 문서 길이가 다양한 임베딩 전략의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실생활 리뷰 데이터와 표준 벤치마크에서 doc2vec를 능가할 수 있는가?

주요 결과

• idf-delta-pca 방법은 300단어 이상의 문서에서 트립어드바이저 리뷰 벤치마크에서 가장 높은 성능을 기록했으며, doc2vec 및 다른 변형보다 뛰어났다.
• 짧은 문서(1~9개 리뷰/장소)에 대해서는 idf-sum-pca 방법이 가장 우수했으며, 문서당 1~2개 리뷰일 때 성능이 최고로 높았다.
• PCA를 사용할 경우 450단어 이하의 짧은 문서에 대해서는 idf-center-pca 방법이 최적의 성능을 보였고, 긴 문서에서는 idf-delta-pca 방법이 가장 우수했다.
• PCA 후처리 단계는 합과 델타 방법에 대해 일관되게 성능 향상을 이뤘지만, 센터 방법에 대해서는 성능 향상이 혼합된 결과를 보였다.
• 단위 합 기반 베이스라인(무가중합)은 모든 다른 방법보다 현저히 열등했으며, 적절한 가중치 부여의 필요성을 확인했다.
• CQADupStack 벤치마크에서는 doc2vec이 4개 포럼에서 최고였고, idf-delta-pca가 5개, idf-center-pca가 2개에서 최고였으며, 다양한 포럼에서 뛰어난 경쟁력을 보였다.