[논문 리뷰] Data Requirements for Evaluation of Personalization of Information Retrieval - A Position Paper

Nicholas J. Belkin, Daniel Hienert외 2명|arXiv (Cornell University)|2018. 09. 07.

Information Retrieval and Search Behavior참고 문헌 21인용 수 4

한 줄 요약

이 논문은 개인화된 정보 검색에서 평가를 위해서는 검색 세션을 통합적인 단위로 간주하고 사용자의 진화하는 목표와 의도를 반영해야 한다고 주장한다. 유효한 평가를 위해 사용자 행동, 시스템 상호작용, 세션 수준의 의도 변화에 대한 종합적인 데이터가 필수적임을 제안하며, 의미 있는 개인화된 IR 시스템 평가를 뒷받침할 모델과 데이터 요구사항을 제시한다.

ABSTRACT

Two key, but usually ignored, issues for the evaluation of methods of personalization for information retrieval are: that such evaluation must be of a search session as a whole; and, that people, during the course of an information search session, engage in a variety of activities, intended to accomplish differ- ent goals or intentions. Taking serious account of these factors has major impli- cations for not only evaluation methods and metrics, but also for the nature of the data that is necessary both for understanding and modeling information search, and for evaluation of personalized support for information retrieval (IR). In this position paper, we: present a model of IR demonstrating why these fac- tors are important; identify some implications of accepting their validity; and, on the basis of a series of studies in interactive IR, identify some types of data concerning searcher and system behavior that we claim are, at least, necessary, if not necessarily sufficient, for meaningful evaluation of personalization of IR.

연구 동기 및 목표

• 전체 검색 세션을 고려하지 않는 개인화된 정보 검색(IR)에 대한 체계적 평가 프레임워크의 부족을 다루기.
• 사용자가 현재 평가 방법이 자주 간과하는 다수의 목표 지향적 활동을 검색 세션 동안 수행한다는 점을 부각하기.
• 개인화가 다수의 쿼리와 상호작용 전반에 걸쳐 사용자 행동에 영향을 주므로 세션 수준의 평가가 필수적임을 주장하기.
• 검색 세션 전반에 걸쳐 사용자 의도, 행동, 시스템 반응을 모델링하기 위해 필요한 특정 데이터 유형을 규명하기.
• 최소한이지만 필수적인 데이터 요구사항을 정의하여 향후 개인화된 IR 평가의 기반을 마련하기

제안 방법

• 단일 쿼리가 아니라 목표 지향적 활동의 연속으로서 검색을 프레임화하는 정보 검색 모델을 제안하기.
• 개별 쿼리-응답 쌍이 아니라 한 세션 내 다수의 상호작용에서의 사용자 행동을 기록할 필요성을 강조하기.
• 핵심 데이터 유형 식별: 사용자 행동(클릭, 주목 시간, 쿼리 재구성), 시스템 반응(관련성 평가, 랭킹), 세션 수준의 의도 전환.
• 인터랙티브 IR 연구의 결과를 바탕으로 세션 수준의 데이터와 행동 추적의 필요성을 뒷받침하기.
• 단순한 관련성 점수 외에도 시간적 및 맥락적 사용자 행동을 통합하는 평가 프레임워크의 필요성을 주장하기.
• 검색 세션 동안 사용자 의도의 진화를 모델링할 수 있도록 지원하는 표준화된 데이터 수집 절차를 촉구하기

실험 결과

연구 질문

• RQ1 세션 수준의 행동과 의도 전환을 忽시할 경우 개인화된 정보 검색은 어떻게 의미 있게 평가할 수 있는가?
• RQ2 개인화된 정보 검색의 전반적인 범위를 포괄하기 위해 필수적인 사용자 및 시스템 행동 데이터의 유형은 무엇인가?
• RQ3 고립된 쿼리나 관련성 평가에 기반해 개인화를 평가하는 것이 왜 부족한가?
• RQ4 검색 세션 동안 사용자 목표의 진행을 모델링하기 위해 필요한 데이터 구조와 메타데이터는 무엇인가?
• RQ5 사용자 검색 행동의 통합적 성격과 개인화 효과성 반영을 위해 평가 지표는 어떻게 재정의되어야 하는가?

주요 결과

• 사용자 행동이 다이나믹하고 목표 지향적이므로, 개인화된 IR 평가는 개별 쿼리가 아니라 전체 검색 세션을 고려해야 한다.
• 사용자는 탐색, 정련, 확인과 같은 서로 다른 목표를 가진 다수의 구체적 활동을 세션 동안 수행한다.
• 세션 수준의 의도 전환이 개인화 평가 방식에 상당한 영향을 미치며, 사용자 목표의 시간에 따른 변화를 기록한 데이터가 필요하다.
• 현재의 평가 관행은 쿼리 재구성, 클릭 패턴, 주목 시간과 같은 행동 역학을 자주 간과하여 개인화 평가에 필수적인 요소가 된다.
• 이 논문은 사용자 행동, 시스템 반응, 의도 전환과 같은 특정 데이터 유형이 유효한 평가를 위해 필요하다고 규명하였으며, 이는 충분하지는 않지만 필수적이다.
• 포괄적인 세션 수준의 데이터가 없이 개인화된 IR 평가에서는 장기적 사용자 만족도나 효과성 측정 시 오해의 소지가 있거나 완전하지 못한 결과가 발생할 위험이 있다.