[논문 리뷰] Toward Incorporation of Relevant Documents in word2vec

Navid Rekabsaz, Bhaskar Mitra외 2명|arXiv (Cornell University)|2017. 07. 20.

Topic Modeling참고 문헌 26인용 수 6

한 줄 요약

이 논문은 스킵그램 모델에서 유래한 새로운 해석 가능한 명시적 단어 표현을 제안하며, 진정한 공현 확률을 캡처하여 국소적 쿼리 관련 문서를 단어 표현에 효과적으로 통합할 수 있도록 한다. 이 방법은 최신 기술 대비 높은 유사성의 어휘를 검색하는 데서 뛰어난 성능을 보이며, 전역 단어 벡터를 국소 문서 콘텐츠를 사용해 적응시키기 위한 다섯 가지 함수를 도입한다. 初기 결과는 관련성 정렬 향상을 보여준다.

ABSTRACT

Recent advances in neural word embedding provide significant benefit to various information retrieval tasks. However as shown by recent studies, adapting the embedding models for the needs of IR tasks can bring considerable further improvements. The embedding models in general define the term relatedness by exploiting the terms' co-occurrences in short-window contexts. An alternative (and well-studied) approach in IR for related terms to a query is using local information i.e. a set of top-retrieved documents. In view of these two methods of term relatedness, in this work, we report our study on incorporating the local information of the query in the word embeddings. One main challenge in this direction is that the dense vectors of word embeddings and their estimation of term-to-term relatedness remain difficult to interpret and hard to analyze. As an alternative, explicit word representations propose vectors whose dimensions are easily interpretable, and recent methods show competitive performance to the dense vectors. We introduce a neural-based explicit representation, rooted in the conceptual ideas of the word2vec Skip-Gram model. The method provides interpretable explicit vectors while keeping the effectiveness of the Skip-Gram model. The evaluation of various explicit representations on word association collections shows that the newly proposed method out- performs the state-of-the-art explicit representations when tasked with ranking highly similar terms. Based on the introduced ex- plicit representation, we discuss our approaches on integrating local documents in globally-trained embedding models and discuss the preliminary results.

연구 동기 및 목표

• 정보 검색에서 사용되는 밀도형 단어 표현의 해석 가능성 부족 문제, 특히 전역 공현 패tern으로 인한 주제 이탈 현상 해결을 위해.
• 스킵그램의 효과성을 유지하면서도 벡터 차원의 명확한 해석이 가능한 명시적 단어 표현 개발을 위해.
• 사전에 학습된 단어 표현에 국소 문서 정보(예: 상위-k 검색된 문서)를 효율적으로 통합하여 쿼리 기반 어휘 유사성 향상을 위한 방법 탐색을 위해.
• 해석 가능한 벡터를 통한 국소 관련성 신호 통합이 어휘 연관성 및 유사성 작업 성능 향상에 기여하는지 평가하기 위해.

제안 방법

• 각 차원이 특정 맥락 어휘에 대응되며, 단어와 맥락 어휘 간 진정한 공현 확률을 표현하는 새로운 명시적 단어 표현을 제안하며, 이는 스킵그램 모델에서 유도된다.
• 학습된 매개변수 $a$와 $b$를 기반으로 국소 문서 관련성에 따라 전역 공현 값 $v(w,c)$를 재가중하여 $\hat{v}(w,c)$로 변환하기 위해 로지스틱 함수를 사용한다.
• 국소 문서 정보를 통합하기 위한 다섯 가지 함수 $f_1$에서 $f_5$를 정의한다: (1) 맥락 어휘의 이진 존재 여부, (2) 국소 대비 전역 어휘 빈도의 상대적 비율, (3) 국소 대비 전역 공현 비율, (4) 문서 언어 모델을 사용한 관련성 모델, (5) 문서 언어 모델 하에서 단어와 맥락의 공동 확률.
• 상위-k 검색된 문서 집합의 언어 모델을 추정하기 위해 $\mu=1500$으로 설정한 딜리클레 스무oothing을 적용한다.
• 벡터 표현을 설계 단계에서 해석 가능하도록 하여, 각 차원이 특정 맥락 어휘에 대응되도록 하여 원인 분석 및 주제 삽입이 가능하도록 한다.
• 어휘 연관성 벤치마크에서 평가하며, 주로 상위-k 유사 어휘 검색 성능에 집중한다.

실험 결과

연구 질문

• RQ1 스킵그램의 효과성을 유지하면서도 벡터 차원의 완전한 해석 가능성을 보장하는 명시적 단어 표현을 설계할 수 있는가?
• RQ2 국소 문서 정보(예: 상위-k 검색된 문서)를 사전에 학습된 단어 표현에 효과적이고 효율적으로 통합하여 쿼리 기반 어휘 유사성 향상을 이룰 수 있는가?
• RQ3 관련성 신호 통합을 위한 함수 중(예: 어휘 빈도, 공현, 언어 모델) 정보 검색 작업에 가장 효과적인 단어 표현 적응을 이끌어내는 함수는 무엇인가?
• RQ4 제안된 방법이 쿼리 단어와 유사도가 높은 어휘를 검색하는 데서 기존의 명시적 표현을 초월하는가?

주요 결과

• 제안된 명시적 표현은 어휘 연관성 벤치마크에서 최신 기술 수준의 명시적 방법과 유사한 성능을 달성한다.
• 주어진 단어와 유사도가 높은 상위 어휘 검색 작업에서 기존의 명시적 표현을 뛰어넘는 성능을 보이며, 의미적 유사성에 대한 민감도 향상이 확인된다.
• $f_1$ 방법은 국소 문서에 맥락 어휘가 존재하는지 여부만 고려하므로 최소한의 향상만을 보이며, 이는 어휘 빈도와 가중치의 중요성을 시사한다.
• $f_2$와 $f_3$ 함수는 각각 상대 빈도와 공현 비율을 사용하므로, 표현 적응 향상에 더 큰 잠재력을 보인다.
• $f_4$와 $f_5$ 함수는 문서 언어 모델 기반의 관련성 모델과 공동 확률을 사용하여, 쿼리 및 문서 맥락을 모두 통합함으로써 가장 유망한 결과를 보였다.
• 초기 결과는 해석 가능한 벡터를 통한 국소 문서 콘텐츠 통합이 주제 이탈을 효과적으로 줄이고 정보 검색 작업에서 관련성 정렬을 향상시킬 수 있음을 시사한다.