[논문 리뷰] Relevance-based Word Embedding

Hamed Zamani, W. Bruce Croft|arXiv (Cornell University)|2017. 05. 09.

Topic Modeling참고 문헌 35인용 수 20

한 줄 요약

이 논문은 어휘-문서 관련성에 기반하여 단어 임베딩을 학습하는 두 가지 비지도 신경망 모델—유사도 최대화(Relevance Likelihood Maximization, RLM)와 관련성 사후확률 추정(Relevance Posterior Estimation, RPE)—을 제안한다. 기존의 어순 근접도 기반 학습 방식이 아닌 관련성 기반 학습을 통해, 600만 개 이상의 쿼리와 그 상위 랭크된 문서를 대상으로 훈련된 모델들은 쿼리 확장 및 쿼리 분류 작업에서 word2vec과 GloVe를 뛰어넘는 성능을 보이며, 정보검색에 관련된 의미 관계를 더 잘 포착함을 입증한다.

ABSTRACT

Learning a high-dimensional dense representation for vocabulary terms, also known as a word embedding, has recently attracted much attention in natural language processing and information retrieval tasks. The embedding vectors are typically learned based on term proximity in a large corpus. This means that the objective in well-known word embedding algorithms, e.g., word2vec, is to accurately predict adjacent word(s) for a given word or context. However, this objective is not necessarily equivalent to the goal of many information retrieval (IR) tasks. The primary objective in various IR tasks is to capture relevance instead of term proximity, syntactic, or even semantic similarity. This is the motivation for developing unsupervised relevance-based word embedding models that learn word representations based on query-document relevance information. In this paper, we propose two learning models with different objective functions; one learns a relevance distribution over the vocabulary set for each query, and the other classifies each term as belonging to the relevant or non-relevant class for each query. To train our models, we used over six million unique queries and the top ranked documents retrieved in response to each query, which are assumed to be relevant to the query. We extrinsically evaluate our learned word representation models using two IR tasks: query expansion and query classification. Both query expansion experiments on four TREC collections and query classification experiments on the KDD Cup 2005 dataset suggest that the relevance-based word embedding models significantly outperform state-of-the-art proximity-based embedding models, such as word2vec and GloVe.

연구 동기 및 목표

• 기존의 단어 임베딩 목표(어순 근접도)와 정보검색의 핵심 목표인 관련성 모델링 간의 괴리 문제를 해결하기 위해.
• 실시간 검색이 추론 중에 필요하지 않은 비지도 오프라인 단어 임베딩 모델을 개발하기 위해.
• 관련성 분포에 기반한 임베딩을 학습하여 쿼리 확장 및 쿼리 분류와 같은 후행 정보검색 작업의 성능을 향상시키기 위해.
• 관련성 기반 임베딩이 실제 정보검색 응용에서 proximity 기반 임베딩(예: word2vec, GloVe)보다 일반화 성능이 뛰어나지 않는지 평가하기 위해.
• 훈련 데이터 크기와 임베딩 차원 수가 모델 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 유사도 최대화(Relevance Likelihood Maximization, RLM) 모델은 각 쿼리에 대해 어휘 어휘의 확률 분포를 학습하여, 해당 쿼리와 관련된 문서에 각 단어가 나타날 가능성을 추정한다.
• 관련성 사후확률 추정(Relevance Posterior Estimation, RPE) 모델은 이진 분류 목표를 사용해 각 어휘를 주어진 쿼리에 관련이 있는지 또는 아닌지 분류한다.
• 두 모델 모두 600만 개 이상의 쿼리와 그 상위 랭크된 검색 결과 문서를 사용해 오프라인 환경에서 훈련되며, 이들 문서는 관련이 있다고 가정된다.
• 대규모 훈련 데이터에 대응하기 위해 효율적인 학습 알고리즘을 사용하는 신경망 아키텍처를 적용한다.
• 인간 레이블이 없는 자동 생성된 훈련 데이터를 사용해 완전히 비지도 학습이 가능하도록 설계되었다.
• 모델 평가는 TREC 컬렉션(AP, Robust, ClueWeb09, ClueWeb12)과 KDD 컵 2005 데이터셋에서 외부 평가 방식으로 수행되었다.

실험 결과

연구 질문

• RQ1 쿼리-문서 관련성 신호를 기반으로 훈련된 단어 임베딩이 정보검색 작업에서 proximity 기반 모델(예: word2vec, GloVe)보다 우수한가?
• RQ2 쿼리 확장 및 쿼리 분류 작업에서 관련성 기반 임베딩은 proximity 기반 임베딩보다 어떻게 비교되는가?
• RQ3 임베딩 차원 수가 관련성 기반 모델 성능에 어떤 영향을 미치는가?
• RQ4 효과적인 관련성 기반 단어 임베딩을 학습하기 위해 얼마나 많은 훈련 데이터가 필요한가?
• RQ5 왜 RPE는 쿼리 분류에서는 RLM을 능가하지만, 쿼리 확장에서는 RLM이 더 우수한 성능을 내는가?

주요 결과

• 네 개의 TREC 컬렉션에서 관련성 기반 임베딩은 쿼리 확장 작업에서 word2vec과 GloVe를 뛰어넘는 성능을 보이며, 더 나은 어휘 선택 덕분에 검색 성능이 향상된다.
• 관련성 기반 모델이 생성한 확장 어휘는 proximity 기반 모델이 개별 어휘에 집중하는 것과 달리 전체 쿼리와 더 의미적으로 일관성이 있다.
• KDD 컵 2005 데이터셋에서의 쿼리 분류 작업에서 RLM과 RPE 모두 베이스라인보다 우수한 성능을 보였으며, RPE는 F1 점수와 정밀도 점수에서 더 높은 성능을 기록했다.
• 두 모델의 성능은 임베딩 차원 수가 증가함에 따라 향상되며, 400 차원 이상에서는 안정화된다.
• 안정적인 성능을 확보하기 위해 최소 400만 개 이상의 훈련 쿼리가 필요하며, RLM은 RPE보다 최적 성능에 도달하기 위해 더 많은 데이터가 필요하다.
• 감도 분석 결과 관련성 기반 모델이 하이퍼파라미터 설정에 대해 강건하며, 데이터 크기에 따라 효과적으로 스케일링됨을 확인했다.