[논문 리뷰] A Capsule Network-based Embedding Model for Search Personalization

Dai Quoc Nguyen, Thanh Vu외 2명|arXiv (Cornell University)|2018. 04. 12.

Recommender Systems and Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 쿼리, 사용자, 문서 간의 3방향 관계를 공동 벡터 표현을 통해 모델링함으로써 검색 개인화를 향상시키기 위해 캡슐 네트워크 기반 임베딩 모델을 제안한다. 이 모델은 실제 웹 검색 로그에서 기준 순위 매기기 모델 및 최신 개인화 방법보다 재순서 매김 성능을 향상시킨다.

ABSTRACT

Search personalization aims to tailor search results to each specific user based on the user's personal interests and preferences (i.e., the user profile). Recent research approaches to search personalization by modelling the potential 3-way relationship between the submitted query, the user and the search results (i.e., documents). That relationship is then used to personalize the search results to that user. In this paper, we introduce a novel embedding model based on capsule network, which recently is a breakthrough in deep learning, to model the 3-way relationships for search personalization. In the model, each user (submitted query or returned document) is embedded by a vector in the same vector space. The 3-way relationship is described as a triple of (query, user, document) which is then modeled as a 3-column matrix containing the three embedding vectors. After that, the 3-column matrix is fed into a deep learning architecture to re-rank the search results returned by a basis ranker. Experimental results on query logs from a commercial web search engine show that our model achieves better performances than the basis ranker as well as strong search personalization baselines.

연구 동기 및 목표

• 사용자 선호도, 검색 쿼리, 검색된 문서 간의 동적인 상호작용을 효과적으로 모델링하기 위한 과제를 해결하기 위해.
• 개인별 관심사와 행동을 반영하는 사용자 특화 표현을 학습함으로써 검색 결과의 관련성 향상시키기 위해.
• 사용자-쿼리-문서 트리플 내 복잡한 계층적 관계를 포착할 수 있는 딥 러닝 아키텍처 개발하기 위해.
• 재순서 매김 효과성에서 기존의 검색 기반 모델 및 최신 개인화 모델을 능가하기 위해.

제안 방법

• 각 사용자, 쿼리, 문서는 학습된 밀집 표현을 사용하여 공유 벡터 공간에 임베딩된다.
• 3방향 관계(쿼리, 사용자, 문서)는 각각의 임베딩 벡터로 구성된 3열 행렬로 표현된다.
• 캡슐 네트워크 아키텍처가 3열 행렬을 처리하여 구성 요소 간의 동적 라우팅 및 계층적 관계를 모델링한다.
• 기본 순위 매기기 모델이 생성한 결과의 순서를 개선하기 위해 엔드 투 엔드로 훈련된다.
• 최종 출력은 사용자 프로필에 맞게 맞춤화된 재순서 매김된 문서 목록이며, 미분 가능한 손실 함수를 통해 최적화된다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 검색 개인화를 위한 사용자, 쿼리, 문서 간의 3방향 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 캡슐 기반 임베딩 모델은 전통적인 검색 기반 모델보다 순위 매김 효과성에서 어떻게 비교되는가?
• RQ3 기존 최신 개인화 방법에 비해 이 모델은 개인화 성능을 어느 정도 향상시키는가?
• RQ4 캡슐 네트워크의 계층적 어텐션 메커니즘은 표준 신경망보다 사용자 특화 선호도를 더 잘 포착하는가?

주요 결과

• 제안된 캡슐 네트워크 기반 모델은 실제 웹 검색 로그에서 기준 순위 매기기 모델보다 뛰어난 성능을 달성한다.
• 이 모델은 검색 개인화에서 강력한 기반 모델들을 능가하며, 더 높은 순위 매김 효과성을 입증한다.
• 캡슐 네트워크의 통합은 기존 임베딩 접근 방식보다 더 복잡한 사용자-쿼리-문서 관계를 더 잘 모델링할 수 있도록 한다.
• 결과는 3방향 관계 표현이 사용자 선호도의 미세한 차이를 포착함으로써 개인화를 향상시킨다는 것을 시사한다.