[論文レビュー] Data Requirements for Evaluation of Personalization of Information Retrieval - A Position Paper

Nicholas J. Belkin, Daniel Hienert+2 more|arXiv (Cornell University)|Sep 7, 2018

Information Retrieval and Search Behavior参考文献 21被引用数 4

ひとこと要約

この位置付け論文は、情報検索におけるパーソナライゼーションの評価には、検索セッションを統合的単位として扱い、ユーザーの進化する目的や意図を考慮する必要があると主張している。本稿では、有効な評価を可能にするために、ユーザー行動、システム相互作用、セッションレベルの意図の変化に関する包括的データが不可欠であると提言し、意味のあるパーソナライズドIRシステムの評価を支援するモデルとデータ要件を提示する。

ABSTRACT

Two key, but usually ignored, issues for the evaluation of methods of personalization for information retrieval are: that such evaluation must be of a search session as a whole; and, that people, during the course of an information search session, engage in a variety of activities, intended to accomplish differ- ent goals or intentions. Taking serious account of these factors has major impli- cations for not only evaluation methods and metrics, but also for the nature of the data that is necessary both for understanding and modeling information search, and for evaluation of personalized support for information retrieval (IR). In this position paper, we: present a model of IR demonstrating why these fac- tors are important; identify some implications of accepting their validity; and, on the basis of a series of studies in interactive IR, identify some types of data concerning searcher and system behavior that we claim are, at least, necessary, if not necessarily sufficient, for meaningful evaluation of personalization of IR.

研究の動機と目的

• 検索セッション全体を考慮する体系的でない評価フレームワークの欠如を是正すること。
• ユーザーが検索セッション中に複数の目的指向的活動を遂行していること、これは現在の評価手法がしばしば無視していること。
• パーソナライゼーションが複数のクエリと相互作用にわたってユーザー行動に影響を与えるため、セッションレベルの評価が不可欠であること。
• 検索セッション全体を通してユーザーの意図、行動、システム反応をモデル化するための特定のデータタイプを同定すること。
• 最小限ではあるが必須のデータ要件を定義することで、今後のパーソナライズドIRの評価の基盤を築くこと。

提案手法

• 検索を孤立したクエリではなく、目的指向の活動の連続として捉える情報検索のモデルを提唱すること。
• 単一のセッション内での複数の相互作用におけるユーザー行動を捉える必要があること、個々のクエリ・レスポンスペアだけではなく。
• 主要なデータタイプを同定：ユーザー行動（クリック、滞在時間、クエリ再定式化）、システム反応（関連性判断、ランク付け）、セッションレベルの意図の変化。
• インタラクティブIR研究の知見を活用し、セッションレベルのデータと行動追跡の必要性を裏付けること。
• 静的関連性スコアだけでなく、時間的および文脈的ユーザー行動を統合する評価フレームワークを提唱すること。
• 検索セッション中のユーザー意図の進化をモデル化するのを支援する標準化されたデータ収集手法の導入を求めること。

実験結果

リサーチクエスチョン

• RQ1 セッションレベルの行動や意図の変化が無視された場合、どのようにしてパーソナライズド情報検索を意味的に評価できるか？
• RQ2 パーソナライズドIRにおける包括的範囲を捉えるために、ユーザーおよびシステムの行動データとしてどのような種別が必要か？
• RQ3 なぜ孤立したクエリや関連性判断に基づく評価では不十分なのか？
• RQ4 検索セッション中のユーザーの目的の進行をモデル化するためのデータ構造とメタデータは何か？
• RQ5 評価指標を再定義することで、ユーザー検索行動とパーソナライゼーション効果の統合的性質を反映させることは可能か？

主な発見

• ユーザー行動の動的かつ目的指向の性質を踏まえ、パーソナライズドIRの評価は個々のクエリではなく、検索セッション全体を考慮しなければならない。
• ユーザーは検索セッション中に、探索、精錬、確認といった、それぞれ異なる目的を持つ明確に区別できる活動を複数遂行する。
• セッションレベルの意図の変化は、パーソナライゼーションの評価に大きな影響を与え、ユーザーの目的の時間的変化に関するデータが不可欠である。
• 現在の評価手法は、クエリ再定式化、クリックパターン、滞在時間といった行動的ダイナミクスをしばしば捉えられておらず、これらはパーソナライゼーション評価において極めて重要である。
• 本稿では、ユーザー行動、システム反応、意図の遷移といった特定のデータタイプが、有効な評価に不可欠であると同定しているが、それらは単独では十分ではない。
• 包括的なセッションレベルのデータがなければ、長期的なユーザー満足度や効果性を測定する際、パーソナライズドIRの評価は誤解を招いたり不完全なものになったりするリスクがある。