[논문 리뷰] Representing Documents and Queries as Sets of Word Embedded Vectors for Information Retrieval

Dwaipayan Roy, Debasis Ganguly외 2명|arXiv (Cornell University)|2016. 06. 25.

Topic Modeling참고 문헌 13인용 수 10

한 줄 요약

이 논문은 문서와 질의를 단어 임베딩 벡터의 집합으로 표현하고, 의미적 조합성을 포착하기 위해 가우시안 믹스처 모델을 사용하는 새로운 정보 검색 방법을 제안한다. 질의의 가능도를 문서 벡터 클러스터까지의 평균 거리 기반으로 계산하여, 단어 벡터 유사도와 기존 언어 모델을 결합함으로써 TREC 및 Robust 어드혹 컬렉션에서 MAP를 최대 5.77% 향상시킨다.

ABSTRACT

A major difficulty in applying word vector embeddings in IR is in devising an effective and efficient strategy for obtaining representations of compound units of text, such as whole documents, (in comparison to the atomic words), for the purpose of indexing and scoring documents. Instead of striving for a suitable method for obtaining a single vector representation of a large document of text, we rather aim for developing a similarity metric that makes use of the similarities between the individual embedded word vectors in a document and a query. More specifically, we represent a document and a query as sets of word vectors, and use a standard notion of similarity measure between these sets, computed as a function of the similarities between each constituent word pair from these sets. We then make use of this similarity measure in combination with standard IR based similarities for document ranking. The results of our initial experimental investigations shows that our proposed method improves MAP by up to $5.77\%$, in comparison to standard text-based language model similarity, on the TREC ad-hoc dataset.

연구 동기 및 목표

• 효율적인 정보 검색을 위한 사전 훈련된 단어 임베딩을 사용하여 전체 문서와 질의를 표현하는 문제에 대응한다.
• 대규모 문서 표현에서 벡터 평균화와 doc2vec의 한계를 극복하여 효율성과 정확도가 떨어지는 문제를 해결한다.
• 질의와 문서 간의 쌍별 단어 벡터 유사도를 활용하는 확장 가능하고 효과적인 유사도 측정 기준을 개발한다.
• 단어 벡터 기반 질의 가능도와 표준 언어 모델 유사도를 결합하여 문서 순위를 향상시킨다.
• 문서 의미를 검색에 더 잘 모델링하기 위해 단어 벡터를 의미적 개념으로 클러스터링하는 유용성을 탐색한다.

제안 방법

• 각 문서를 가우시안 혼합 모델로 표현하며, 각 성분은 문서의 단어들로부터 유도된 단어 벡터 클러스터에 대응한다.
• 질의를 단어 벡터의 집합으로 모델링하고, 질의 가능도를 질의 벡터들이 문서 가우시안 중심점까지의 평균 거리 기반으로 계산한다.
• 개별 단어 벡터 유사도의 함수로 문서와 질의 간의 유사도를 계산하는 집합 기반 유사도 측정 기준을 사용한다.
• 단어 벡터 기반 질의 가능도와 표준 언어 모델(LM) 가능도를 결합하여 문서 점수를 산정한다.
• 수집된 결과를 활용해 질의 표현을 개선하고 순위를 향상시키기 위해 관련성 피드백을 적용한다.
• 의미의 세분성과 성능 간 균형을 고려해 문서 벡터 표현을 위한 클러스터 수(K)를 최적화한다.

실험 결과

연구 질문

• RQ1 기존 언어 모델 대비 단어 임베딩을 사용한 집합 기반 문서 및 질의 표현이 검색 성능 향상에 기여하는가?
• RQ2 K개의 의미적 개념으로 단어 벡터를 클러스터링하는 것은 문서 표현 및 검색의 효과성에 어떤 영향을 미치는가?
• RQ3 기본 테스트 컬렉션에서 검색 성능 측면에서 문서를 표현하기 위한 최적의 클러스터 수(K)는 얼마인가?
• RQ4 표준 언어 모델 유사도와 단어 벡터 기반 유사도를 결합하면 다양한 TREC 컬렉션에서 일관된 성능 향상이 이루어지는가?
• RQ5 제안된 방법은 정보 검색 시스템에서 관련성 피드백 및 질의 확장에 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 방법은 TREC 6, 7, 8 및 Robust 어드혹 테스트 컬렉션에서 표준 언어 모델 기준선 대비 평균 평균 정확도(MAP)를 최대 5.77% 향상시켰다.
• TREC 8과 Robust에서는 K=100 클러스터에서 최고의 성능를 기록하였으며, 상위 순위에서 정밀도와 재현율 모두 뚜렷한 향상을 보였다.
• TREC 6과 7에서는 단일점 표현(K=1)이 K=100을 능가했으며, 이는 더 작은 컬렉션에서는 100개의 클러스터가 어휘 다양성을 충분히 포착하지 못함을 시사한다.
• 언어 모델과 단어 벡터 기반 유사도의 조합은 일관되게 검색 결과를 향상시켰으며, 특히 TREC 8과 Robust에서 가장 두드러진 성과를 보였다.
• 오라클 기반 접근법(각 질의에 대해 최적의 방법을 정확히 선택하는 가정)을 사용할 경우 TREC 6에서 최대 MAP 향상 0.0029, Robust에서도 0.0029를 기록하여, 선택적 적용을 통한 추가 향상 가능성을 시사한다.
• 질의별 분석 결과, 단어 벡터 기반 가능도는 일부 질의에는 크게 기여하지만 다른 질의에는 성능을 떨어뜨리는 것으로 나타나, 적응형 선택 전략이 여전히 필요함을 시사한다.