[論文レビュー] MIMICS: A Large-Scale Data Collection for Search Clarification

Hamed Zamani, Gord Lueck+4 more|arXiv (Cornell University)|Jun 17, 2020

Expert finding and Q&A systems参考文献 28被引用数 14

ひとこと要約

本論文では、ウェブ検索および対話型検索における検索明確化に関する研究を目的として、Bingのクエリログから得られた大規模かつ公開可能なデータセット、MIMICSを紹介する。MIMICSは、3つのデータセットから構成される：MIMICS-Click（40万件のクエリにクリック信号を付加）、MIMICS-ClickExplore（6万件のクエリに複数の明確化パネルを含む）、MIMICS-Manual（2千件のクエリに段階的評価付きの人の手によるアノテーションを含む）。これにより、明確化質問の生成、候補となる回答の再順序付け、ユーザーの関与度予測、ウェブおよび対話型検索におけるクリックモデルの研究が可能になる。

ABSTRACT

Search clarification has recently attracted much attention due to its applications in search engines. It has also been recognized as a major component in conversational information seeking systems. Despite its importance, the research community still feels the lack of a large-scale data for studying different aspects of search clarification. In this paper, we introduce MIMICS, a collection of search clarification datasets for real web search queries sampled from the Bing query logs. Each clarification in MIMICS is generated by a Bing production algorithm and consists of a clarifying question and up to five candidate answers. MIMICS contains three datasets: (1) MIMICS-Click includes over 400k unique queries, their associated clarification panes, and the corresponding aggregated user interaction signals (i.e., clicks). (2) MIMICS-ClickExplore is an exploration data that includes aggregated user interaction signals for over 60k unique queries, each with multiple clarification panes. (3) MIMICS-Manual includes over 2k unique real search queries. Each query-clarification pair in this dataset has been manually labeled by at least three trained annotators. It contains graded quality labels for the clarifying question, the candidate answer set, and the landing result page for each candidate answer. MIMICS is publicly available for research purposes, thus enables researchers to study a number of tasks related to search clarification, including clarification generation and selection, user engagement prediction for clarification, click models for clarification, and analyzing user interactions with search clarification.

研究の動機と目的

• ウェブ検索および対話型検索における検索明確化の研究に用いられる大規模で現実世界のデータの不足を解消すること。
• 明確化質問の生成、候補となる回答の選択、ユーザーのインタラクションモデリングに関する研究を支援する包括的なデータセットを提供すること。
• 実際のユーザーのインタラクション信号と人の手による品質判断に基づいて、ユーザーの関与度予測、クリックモデル、再順序付け手法の評価を可能にすること。
• クリックバイアスや表示効果を含む、明確化パネルの使用に関するユーザー行動の詳細な分析を可能にすること。
• 標準化されたデータセットと評価手法を公開することで、検索明確化分野における再現可能性とベンチマークの促進を図ること。

提案手法

• MIMICSは、本番環境での明確化パネルのユーザーインタラクションを記録した実際のBingクエリログから構築された。
• MIMICS-Clickは、1つの明確化パネルを備えた40万件のユニークなクエリに加え、集約されたクリックスルーレートと関与度信号を含む。
• MIMICS-ClickExploreは、オンラインA/Bテストおよび探索研究から得られた6万件を超えるクエリに、1クエリあたり複数の明確化パネルを含む。
• MIMICS-Manualは、2,000件の実際のクエリに、手作業でラベル付けされた明確化質問、候補となる回答、および段階的関連性スコアを用いたランディング結果ページの品質を含む。
• データセットは、NDCG、平均二乗誤差、交差エントロピーといった指標を用いた評価を可能にし、表示バイアスやクリック分布モデリングに注意を払う。
• 研究者は、明確化生成、再順序付け、関与度予測、クリックモデリングのためのモデルを訓練および評価するために、データセットを活用でき、確立された評価プロトコルが整備されている。

実験結果

リサーチクエスチョン

• RQ1 検索明確化における異なる明確化質問や候補となる回答の順序によって、ユーザーのクリック行動はどのように変化するか？
• RQ2 表示順序とテキスト長は、明確化パネルのクリックスルーレートにどのような影響を及えるか？
• RQ3 機械学習モデルは、クリック信号を用いて、明確化パネルに対するユーザーの関与度をどれほど正確に予測できるか？
• RQ4 人の手による明確化質問および候補となる回答の品質判断と、ユーザーのクリック行動との相関関係はどの程度か？
• RQ5 既存のウェブ検索クリックモデルは検索明確化にどの程度一般化可能か？また、どのように調整すればよいか？

主な発見

• MIMICS-Clickは、関連する明確化パネルと集約されたユーザーのクリック信号を備えた40万件を超えるユニークなクエリを含み、関与度予測および再順序付けのための大規模評価が可能になる。
• MIMICS-ClickExploreは、1クエリあたり複数の明確化パネルを含む6万件を超えるクエリを含み、回答の順序効果やクリックモデリングに関する制御された分析が可能になる。
• MIMICS-Manualは、段階的評価付きの人の手によるアノテーションを備えた2,000組のクエリ-明確化ペアを提供し、教師あり学習と評価を可能にする。
• データは、テキストが長く、順位が高い候補となる回答がより多くのクリックを獲得していることを示しており、モデリングにおいて是正すべき強い表示バイアスが存在することが判明した。
• 既存のウェブ検索クリックモデルは、検索明確化にはうまく一般化せず、明確化特有のユーザー行動に特化した新しいモデルの開発が不可欠である。
• このデータセットを用いることで、再順序付けのためのNDCG、クリック分布モデリングのための交差エントロピー、関与度予測のための相関係数といった指標による評価が可能になる。