[논문 리뷰] Toward Word Embedding for Personalized Information Retrieval

Nawal Ould-Amer, Philippe Mulhem외 1명|arXiv (Cornell University)|2016. 06. 22.

Topic Modeling참고 문헌 7인용 수 4

한 줄 요약

이 논문은 사회적 북서치 맥락에서 사용자 프로파일에서 학습된 word2vec 임베딩를 활용한 개인화된 쿼리 확장에 대해 조사한다. 비개인화된 임베딩가 약간 더 뛰어난 성능을 보였음에도 불구하고, 결과는 노이즈가 많은 쿼리와 부족한 사용자 프로파일 데이터로 인해 단어 임베딩가 검색 효율성을 향상시키지 못함을 시사하며, 희박한 사용자 콘텐츠를 가진 개인화된 정보 검색에 word2vec를 적용할 때의 한계를 보여준다.

ABSTRACT

This paper presents preliminary works on using Word Embedding (word2vec) for query expansion in the context of Personalized Information Retrieval. Traditionally, word embeddings are learned on a general corpus, like Wikipedia. In this work we try to personalize the word embeddings learning, by achieving the learning on the user's profile. The word embeddings are then in the same context than the user interests. Our proposal is evaluated on the CLEF Social Book Search 2016 collection. The results obtained show that some efforts should be made in the way to apply Word Embedding in the context of Personalized Information Retrieval.

연구 동기 및 목표

• 단어 임베딩가 사회적 북서치의 개인화된 정보 검색을 향상시킬 수 있는지 평가하는 것.
• 일반 코퍼스 학습 대비 사용자 프로파일에서 단어 임베딩를 학습함으로써 쿼리 확장 성능이 향상되는지 조사하는 것.
• 쿼리 필터링이 임베딩 기반 확장의 효과성에 미치는 영향을 평가하는 것.
• 희박한 사용자 데이터를 가진 개인화된 IR에 word2vec를 적용할 때의 과제를 특정하는 것.

제안 방법

• 사용자 프로파일은 그들의 도서 카탈로그, 태그, 평점에서 생성된 연결된 문서로 모델링된다.
• 쿼리 필터링은 정지어 목록과 Porter 스테머를 사용하여 형용사와 표준 정지어를 제거한다.
• 각 필터링된 쿼리 토큰에 대해, 단어2vec 공간에서 코사인 유사도를 통해 상위-k개의 의미적으로 유사한 단어를 선택한다.
• 개인화된 임베딩는 사용자별 프로파일에서 학습되고, 비개인화된 임베딩는 전체 컬렉션에서 학습된다.
• 쿼리 확장은 원본 토크닉과 상위-k개의 단어 임베딩을 조합하고, 검색은 표준 랭킹 모델을 사용한다.
• 평가에는 CLEF Social Book Search 2016 데이터셋을 사용하여 MAP, MRR, P@10을 사용한다.

실험 결과

연구 질문

• RQ1 단어 임베딩는 사회적 북서치의 쿼리 확장에 효과적으로 사용될 수 있는가?
• RQ2 사용자 프로파일을 사용해 단어 임베딩를 개인화함으로써 검색 성능이 향상되는가?
• RQ3 쿼리 필터링은 임베딩 기반 쿼리 확장의 효과성에 어떤 영향을 미치는가?
• RQ4 이 맥락에서 왜 개인화된 임베딩가 비개인화된 것보다 성능이 열 劣하는가?

주요 결과

• 쿼리 필터링은 MAP를 0.0266에서 0.0309로 향상시켰지만 P@10은 감소시켜, 효과가 혼합됨을 시사한다.
• 비개인화된 쿼리 확장이 대부분의 설정에서 개인화된 확장보다 뛰어났으며, 특히 상위-2개 토큰을 초과할수록 더욱 두드러졌다.
• 개인화된 임베딩는 유의미한 향상이 없었고, 상위-2개 확장 초과 시 성능이 떨어졌으며, MAP 곡선이 평탄했다.
• 가장 뛰어난 성능을 보인 설정은 필터링된 비확장 쿼리(Conf 2)였으며, 모든 확장 버전을 뛰어넘었다.
• 개인화된 및 비개인화된 확장 모두 기준 성능을 향상시키지 못했으며, 이는 임베딩 품질과 데이터 희박성의 근본적인 문제를 시사한다.
• 이 연구는 열 劣한 성능을 낮은 품질의 사용자 프로파일과 개인 사용자에 대한 효과적인 word2vec 학습을 위한 데이터 부족으로 기인한다.