[논문 리뷰] A Dual Embedding Space Model for Document Ranking

Bhaskar Mitra, Eric Nalisnick외 2명|arXiv (Cornell University)|2016. 02. 02.

Topic Modeling참고 문헌 52인용 수 103

한 줄 요약

DESM은 word2vec의 IN(쿼리 단어용)과 OUT(문서 단어용) 두 임베딩 공간을 사용하여 쿼리-문서 관련성을 코사인 유사도의 합으로 점수화하며, BM25로 재정렬할 때 상위 위치 순위를 향상시키지만 더 큰 후보 집합에서 오탐이 발생할 수 있어 BM25-DESM 혼합으로 완화된다.

ABSTRACT

A fundamental goal of search engines is to identify, given a query, documents that have relevant text. This is intrinsically difficult because the query and the document may use different vocabulary, or the document may contain query words without being relevant. We investigate neural word embeddings as a source of evidence in document ranking. We train a word2vec embedding model on a large unlabelled query corpus, but in contrast to how the model is commonly used, we retain both the input and the output projections, allowing us to leverage both the embedding spaces to derive richer distributional relationships. During ranking we map the query words into the input space and the document words into the output space, and compute a query-document relevance score by aggregating the cosine similarities across all the query-document word pairs. We postulate that the proposed Dual Embedding Space Model (DESM) captures evidence on whether a document is about a query term in addition to what is modelled by traditional term-frequency based approaches. Our experiments show that the DESM can re-rank top documents returned by a commercial Web search engine, like Bing, better than a term-matching based signal like TF-IDF. However, when ranking a larger set of candidate documents, we find the embeddings-based approach is prone to false positives, retrieving documents that are only loosely related to the query. We demonstrate that this problem can be solved effectively by ranking based on a linear mixture of the DESM and the word counting features.

연구 동기 및 목표

• 용어 매칭을 넘어서 쿼리-문서의 aboutness 모델링을 개선하려는 동기를 제시한다.
• 쿼리에 IN, 문서에 OUT인 이중 임베딩 공간 표현을 제안하여 aboutness의 분포적 근거를 포착하도록 한다.
• 쿼리 단어(IN)와 문서 중심점 간의 코사인 유사도의 평균을 이용하는 DESM 랭킹 특징을 정의한다.
• 대규모 웹 검색 데이터에서 DESM을 재랭킹 신호로 평가하고 BM25와의 결합으로 평가한다.
• DESM의 강점과 한계를 분석하고, 오탐에 대한 민감성과 telescoping 대 non-telescoping 설정에서의 성능을 포함한다.

제안 방법

• 대규모 라벨링되지 않은 쿼리 코퍼스에서 word2vec CBOW 모델을 학습하여 IN과 OUT 임베딩을 모두 얻는다.
• DESM 점수를 요청 각 단어(IN)와 문서 중심점(DOC의 정규화된 벡터)의 코사인 유사도의 평균으로 계산한다(DESM_IN-OUT).
• 쿼리와 문서 단어 모두에 IN 임베딩을 사용하는 DESM_IN-IN 변형을 정의한다.
• 쿼리 시점의 효율적 랭킹을 가능하게 하기 위해 문서 중심점을 사전에 계산한다.
• DESM과 BM25를 선형 혼합 MM(Q,D)=alpha*DESM(Q,D)+(1-alpha)*BM25(Q,D)으로 결합하고, 보류된 학습 세트에서 alpha를 조정한다.
• telescoping 및 non-telescoping 평가 설정에서 DESM 변형 및 혼합물을 BM25와 LSA 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 쿼리에는 IN, 문서에는 OUT/IN인 이중 임베딩 공간이 전통적인 용어 매칭보다 쿼리-문서의 aboutness를 더 잘 포착할 수 있는가?
• RQ2 DESM이 단독 랭킹 신호로서의 성능과 BM25와 결합되었을 때의 성능은 어떠한가?
• RQ3 DESM 피처가 관련 없거나 기만적 용어 채워짐에 대해 견고한가, 어떤 평가 설정에서 우수하거나 실패하는가?
• RQ4 쿼리 코퍼스에서 임베딩을 학습한 것과 문서 코퍼스에서 학습한 것이 DESM의 효과에 영향을 미치는가?

주요 결과

• DESM은 telescoping 평가에서 상용 검색 엔진의 상위 문서 재순위에서 TF-IDF 유사 신호를 능가할 수 있다.
• DESM_IN-OUT(쿼리 코퍼스에서 학습) 은 명시적/암시적 테스트 세트에서 DESM_IN-IN 및 BM25보다 aboutness 신호가 더 강력하다.
• DESM 단독 성능은 대형 후보 집합을 고려할 때 오탐으로 인해 저하되며, BM25와의 혼합이 이를 완화하고 비- telescoping NDCG에서 최고의 성능을 달성한다.
• 쿼리 데이터로 학습된 임베딩이 문서 본문 텍스트로 학습된 임베딩보다 DESM에 대해 더 우수하다.
• DESM 피처는 상위 순위에서 가장 구별력이 크지만 대규모 랭킹에서 견고함을 위해 전통적 특징과의 결합이 필요하다.