[논문 리뷰] Iterative Expectation for Multi Period Information Retrieval

Marc Sloan, Jun Wang|arXiv (Cornell University)|2013. 03. 21.

Algorithms and Data Compression참고 문헌 28인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 사용자 클릭 피드백을 기반으로 문서 관련성 믿음의 동적 업데이트를 가능하게 하는 다기로 정보 검색을 위한 확률적 최적화 프레임워크를 제안한다. 랭킹을 확률적 제어 과정으로 모델링하고 클릭 모델을 다중 손잡이 밴딧 프레임워크에 통합함으로써, 순서적 랭킹 편향을 다루며 적응형 탐색을 가능하게 하여 장기적인 사용자 만족도를 향상시키며, 실제 검색 로그를 사용한 실험에서 뛰어난 성능을 보였다.

ABSTRACT

Many Information Retrieval (IR) models make use of offline statistical techniques to score documents for ranking over a single period, rather than use an online, dynamic system that is responsive to users over time. In this paper, we explicitly formulate a general Multi Period Information Retrieval problem, where we consider retrieval as a stochastic yet controllable process. The ranking action during the process continuously controls the retrieval system's dynamics, and an optimal ranking policy is found in order to maximise the overall users' satisfaction over the multiple periods as much as possible. Our derivations show interesting properties about how the posterior probability of the documents relevancy evolves from users feedbacks through clicks, and provides a plug-in framework for incorporating different click models. Based on the Multi-Armed Bandit theory, we propose a simple implementation of our framework using a dynamic ranking rule that takes rank bias and exploration of documents into account. We use TREC data to learn a suitable exploration parameter for our model, and then analyse its performance and a number of variants using a search log data set; the experiments suggest an ability to explore document relevance dynamically over time using user feedback in a way that can handle rank bias.

연구 동기 및 목표

• 정적이고 한 번의 평가에 의존하는 오프라인 IR 모델의 한계를 해결하기 위해 문서 랭킹을 위한 동적이고 온라인 학습 프레임워크를 제안하는 것.
• 사용자 피드백(클릭)이 다수의 시간 주기 동안 반복적으로 문서 관련성에 대한 믿음을 업데이트하는 방식으로 정보 검색을 확률적 제어 과정으로 모델링하는 것.
• 다양한 클릭 모델을 통합할 수 있고 순서적 랭킹 편향과 관련성 탐색의 균형을 이루는 적응형 탐색을 가능하게 하는 유연하고 플러그인 방식의 프레임워크를 개발하는 것.
• 실제 검색 로그 데이터를 사용한 현실적인 환경에서 프레임워크의 성능을 평가하여 기존 클릭 데이터에서 학습하고 새로운 문서를 처리할 수 있는 능력을 입증하는 것.
• 이전 클릭 데이터에서의 학습, 문서 특징 통합, 유사도 기반 관련성 전파를 통한 수렴 속도 향상과 같은 확장 가능성을 탐색하는 것.

제안 방법

• 시스템의 상태가 문서 관련성의 사후 확률인 다기로 IR을 최적 제어 문제로 공식화하며, 사용자 피드백으로부터 반복적으로 업데이트된다.
• 과거 랭킹 결정과 관측된 클릭을 바탕으로 문서 관련성에 대한 믿음의 변화를 모델링하는 동적 함수를 유도한다.
• 다중 손잡이 밴딧 이론에 기반한 동적 랭킹 규칙을 도입하여 랭킹 편향과 탐색-이용 갈등을 명시적으로 고려한다.
• 다양한 클릭 모델(예: 종속 클릭, 검토 가설)을 믿음 업데이트 메커니즘에 통합하기 위해 플러그인 아키텍처를 활용한다.
• TREC 관련성 평가 및 Yandex Relevance Prediction Challenge 데이터셋을 사용하여 탐색 파라미터를 튜닝하고 성능을 검증한다.
• 기존 클릭 로그에서의 학습과 유사도를 통한 문서 유사성 기반 관련성 믿음 전파를 통해 새로운 문서를 동적으로 통합할 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 클릭 피드백만을 사용하여 여러 검색 주기 동안 문서 관련성을 어떻게 동적으로 업데이트할 수 있는가?
• RQ2 순차적 검색 시스템에서 랭킹 편향은 사후 관련성 확률의 변화에 어떤 영향을 미치는가?
• RQ3 밴딧 기반 랭킹 정책은 다기로 IR 환경에서 탐색과 이용을 효과적으로 균형 잡을 수 있는가?
• RQ4 다양한 클릭 모델은 실제 로그 데이터에서 반복 기대 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 기존 클릭 로그에서 얼마나 잘 학습하고 새로운 문서에 적응할 수 있는가?

주요 결과

• 종속 클릭 모델이 다른 모델보다 뛰어난 성능을 보이며, 상한선에 가장 가까운 결과를 도출하여 데이터에 대해 강력한 적합성을 보였다.
• 모델의 '사전' 변형 버전은 동일한 조건에서 약간 낮은 성능을 보였으며, 이는 시스템이 시간이 지남에 따라 새로운 문서의 관련성을 효과적으로 학습함을 시사한다.
• 이전 클릭 데이터를 사용한 학습 단계를 도입함으로써 성능 향상이 뚜렷하게 나타났으며, 이는 모델이 기존 로그에서 학습할 수 있음을 입증한다.
• 즉각적인 클릭에 집중하는 이성적 정책이 탐색 정책보다 뛰어난 성능을 보였으며, 실무에서 랭킹 편향과 탐색의 균형을 맞추는 것이 얼마나 어려운지 보여준다.
• 프레임워크는 실제 검색 로그에서 잘 학습했으며, 사전 관련성 평가 없이도 새로운 문서를 처리하는 데 있어 뛰어난 강건성을 보였다.
• 모델의 유연성 덕분에 다양한 클릭 모델을 통합하고 효과적인 파라미터 튜닝이 가능했으며, 사전 데이터를 초기화에 사용할 경우 성능 향상이 관찰되었다.