[논문 리뷰] MIMICS: A Large-Scale Data Collection for Search Clarification

Hamed Zamani, Gord Lueck외 4명|arXiv (Cornell University)|2020. 06. 17.

Expert finding and Q&A systems참고 문헌 28인용 수 14

한 줄 요약

이 논문은 웹 검색 및 대화형 검색에서 검색 명확화 연구를 위한 대규모 공개 데이터셋인 MIMICS를 소개한다. MIMICS는 Bing 쿼리 로그에서 유래한 것으로, 클릭 신호, 다중 패널 실험, 400만 건 이상의 쿼리에 대한 수동 평가가 포함된 세 가지 데이터셋—MIMICS-Click(클릭 신호가 있는 40만 건의 쿼리), MIMICS-ClickExplore(다중 명확화 패널이 있는 6만 건의 쿼리), MIMICS-Manual(등급 평가가 내재된 2,000건의 쿼리)—을 포함한다. 이를 통해 검색 명확화 질문 생성, 후보 답변 재정렬, 사용자 참여도 예측, 웹 및 대화형 검색에서의 클릭 모델링에 대한 연구가 가능하다.

ABSTRACT

Search clarification has recently attracted much attention due to its applications in search engines. It has also been recognized as a major component in conversational information seeking systems. Despite its importance, the research community still feels the lack of a large-scale data for studying different aspects of search clarification. In this paper, we introduce MIMICS, a collection of search clarification datasets for real web search queries sampled from the Bing query logs. Each clarification in MIMICS is generated by a Bing production algorithm and consists of a clarifying question and up to five candidate answers. MIMICS contains three datasets: (1) MIMICS-Click includes over 400k unique queries, their associated clarification panes, and the corresponding aggregated user interaction signals (i.e., clicks). (2) MIMICS-ClickExplore is an exploration data that includes aggregated user interaction signals for over 60k unique queries, each with multiple clarification panes. (3) MIMICS-Manual includes over 2k unique real search queries. Each query-clarification pair in this dataset has been manually labeled by at least three trained annotators. It contains graded quality labels for the clarifying question, the candidate answer set, and the landing result page for each candidate answer. MIMICS is publicly available for research purposes, thus enables researchers to study a number of tasks related to search clarification, including clarification generation and selection, user engagement prediction for clarification, click models for clarification, and analyzing user interactions with search clarification.

연구 동기 및 목표

• 웹 및 대화형 검색에서 검색 명확화를 연구하기 위한 대규모 실세계 데이터의 부족을 해결하기 위해.
• 명확화 질문 생성, 후보 답변 선택, 사용자 상호작용 모델링에 대한 연구를 지원하는 종합적인 데이터셋을 제공하기 위해.
• 실제 사용자 상호작용 신호와 인간이 평가한 품질 판단을 활용하여 사용자 참여도 예측, 클릭 모델링, 재정렬 방법의 평가를 가능하게 하기 위해.
• 클리어닝 패널의 클릭 편향과 표시 효과를 포함한 사용자 행동 분석을 깊이 있게 지원하기 위해.
• 표준화된 데이터셋과 평가 방법론을 공개하여 검색 명확화 분야의 재현 가능성과 벤치마킹을 촉진하기 위해.

제안 방법

• MIMICS는 실제 Bing 쿼리 로그에서 유도되어, 실서비스에서 사용자 상호작용을 기반으로 한 명확화 패널의 행동을 캡처한다.
• MIMICS-Click는 각각 하나의 명확화 패널이 있는 40만 건의 고유 쿼리와 함께 집계된 클릭률 및 참여도 신호를 포함한다.
• MIMICS-ClickExplore는 온라인 A/B 실험과 탐색 연구에서 유래한, 쿼리당 다수의 명확화 패널이 포함된 6만 건 이상의 쿼리로 구성되어 있다.
• MIMICS-Manual은 실제 쿼리 2,000건에 대해 수동으로 레이블링된 명확화 질문, 후보 답변, 그리고 등급 평가 점수를 사용한 최종 결과 페이지 품질 평가가 포함되어 있다.
• NDCG, 평균 제곱 오차, 교차 엔트로피와 같은 메트릭을 사용한 평가를 지원하며, 표시 편향과 클릭 분포 모델링에 주의를 기울인다.
• 연구자들은 명확화 생성, 재정렬, 참여도 예측, 클릭 모델링을 위한 모델을 훈련하고 평가하는 데 데이터셋을 활용할 수 있으며, 정의된 평가 프로토콜을 제공한다.

실험 결과

연구 질문

• RQ1 검색 명확화에서 다양한 명확화 질문과 후보 답변 순서에 따라 사용자 클릭 행동은 어떻게 달라지나?
• RQ2 표시 순서와 텍스트 길이가 명확화 패널의 클릭률에 어떤 영향을 미치는가?
• RQ3 기계 학습 모델이 클릭 신호를 활용해 명확화 패널에 대한 사용자 참여도를 얼마나 잘 예측할 수 있는가?
• RQ4 사용자 클릭 행동과 인간이 평가한 명확화 질문 및 후보 답변의 품질 평가 간 상관관계는 어떠한가?
• RQ5 기존 웹 검색 클릭 모델이 검색 명확화에 일반화되는 정도는 어느 정도이며, 어떻게 개선할 수 있는가?

주요 결과

• MIMICS-Click는 약 40만 건의 고유 쿼리와 관련된 명확화 패널 및 집계된 사용자 클릭 신호를 포함하여 참여도 예측 및 재정렬의 대규모 평가를 가능하게 한다.
• MIMICS-ClickExplore는 쿼리당 다수의 명확화 패널이 포함된 6만 건 이상의 쿼리를 포함하여 답변 순서 효과 및 클릭 모델링에 대한 통제된 분석을 가능하게 한다.
• MIMICS-Manual은 등급 평가가 내재된 2,000개의 쿼리-명확화 쌍을 제공하여 지도 학습 및 평가를 지원한다.
• 데이터는 더 긴 텍스트와 높은 순위를 가진 후보 답변이 더 많은 클릭을 유도함을 보여주며, 이는 모델링 시 반드시 다루어야 할 강력한 표시 편향임을 시사한다.
• 기존 웹 검색 클릭 모델은 검색 명확화에 잘 일반화되지 않으며, 명확화 전용 사용자 행동에 맞는 새로운 모델 개발이 필요하다.
• 이 데이터셋은 재정렬을 위한 NDCG, 클릭 분포 모델링을 위한 교차 엔트로피, 참여도 예측을 위한 상관계수 메트릭 등을 사용한 평가를 가능하게 한다.