[論文レビュー] A Conceptual Framework for Implicit Evaluation of Conversational Search Interfaces

Abhishek Kaushik, Gareth J. F. Jones|arXiv (Cornell University)|Apr 8, 2021

Speech and dialogue systems参考文献 37被引用数 4

ひとこと要約

本稿では、対話型情報検索（CS）インタフェースの暗黙的評価のための多次元的概念的枠組みを提案する。この枠組みは、インタラクティブ情報検索と対話型システムの次元（使いやすさ、認知的負荷、知識の習得、ユーザーエクスペリエンスなど）を統合したものである。このフレームワークは、リッカート尺度による事前・事後アンケートと統計的分析を用い、システムのパフォーマンスとユーザーラーニングの評価を可能にし、単なるタスク完了を超えた、定量的および定性的なCS効果の評価を実現する。

ABSTRACT

Conversational search (CS) has recently become a significant focus of the information retrieval (IR) research community. Multiple studies have been conducted which explore the concept of conversational search. Understanding and advancing research in CS requires careful and detailed evaluation. Existing CS studies have been limited to evaluation based on simple user feedback on task completion. We propose a CS evaluation framework which includes multiple dimensions: search experience, knowledge gain, software usability, cognitive load and user experience, based on studies of conversational systems and IR. We introduce these evaluation criteria and propose their use in a framework for the evaluation of CS systems.

研究の動機と目的

• 既存の対話型検索（CS）評価が単一のタスク完了とユーザーフィードバックに依存するという限界を是正すること。
• CSにおけるユーザーアクティビティと学習のより深い側面を捉える包括的な評価フレームワークの開発。
• インタラクティブ情報検索と対話型システムの次元を統合し、CSのための統一された評価モデルを構築すること。
• CSインタラクション中にユーザーエクスペリエンス、認知的負荷、知識の習得を暗黙的に評価すること。
• 現実世界のシナリオにおいてCSシステムの評価と改善を実践的かつ実証的根拠に基づいて行うためのツールを提供すること。

提案手法

• フレームワークは二段階のアンケートを用いる：事後の評価（探索）用と事前・事後の知識評価（満足度）用のアンケート。
• アンケートの各項目は7段階のリッカート尺度（0–7）を用い、平均スコアを有意性の検定に用いるために依存または独立t検定を実施。
• 定性的分析では、平均スコアに基づき色分けされた注釈（赤、黄、緑）を割り当てる。閾値は：＜2（赤）、2–4（黄）、＞4（緑）で、それぞれ否定的、中立的、肯定的な評価を示す。
• 二名の独立したアナリストが応答を注釈付けし、カッパ係数約0.85を達成することで信頼性を確保。
• 知識の習得は、事前および事後の要約を比較することで測定され、三つのパラメータ（Dqual：質、Dintrp：解釈、Dcrit：批判的思考）を用いる。知識の増加は、Dqual > 1.5、Dintrp > 1、Dcrit > 0 として定義される。
• フレームワークは統計的検定と評価者間信頼性の確認を通じて検証され、使いやすさや認知的負荷などの特定次元におけるインターフェースの弱みを特定する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、単なるタスク完了とユーザーフィードバックを超えて対話型検索システムを評価できるか？
• RQ2 対話型検索インタフェースの効果性とユーザーエクスペリエンスに影響を与える多次元的要因は何か？
• RQ3 対話型検索は、ユーザーユーザーの知識習得および認知的発達にどの程度寄与するか？
• RQ4 暗黙的評価指標を体系的に収集・分析する方法は何か？
• RQ5 使いやすさ、認知的負荷、ユーザーエクスペリエンスは、CSインタラクションにおいてどのように定量的および定性的に評価できるか？

主な発見

• 提案されたフレームワークにより、従来のパフォーマンス指標を超えて、使いやすさ、認知的負荷、知識の習得を統合した、対話型検索システムの包括的評価が可能になった。
• 従来型と対話型検索システムの間で有効な比較が、依存および独立t検定を用いた統計的分析によって可能となった。
• 平均リッカートスコアに基づく色分け注釈（赤、黄、緑）により、特定次元におけるシステムの強みと弱みを明確に視覚化できるようになった。
• 評価者間信頼性はカッパ係数約0.85で確認され、ユーザーレスポンスの定性的注釈に高い一貫性があることが示された。
• 知識習得は三パラメータモデル（Dqual、Dintrp、Dcrit）を用いて定量的に評価され、閾値ベースの定義（Dqual > 1.5、Dintrp > 1、Dcrit > 0）により有意義な学習を定義した。
• フレームワークは、使いやすさや認知的負荷といった特定次元の分析に基づき、改善が必要な特定のインターフェースコンポーネントを効果的に同定した。