[論文レビュー] Evaluation of Coordination Techniques in Synchronous Collaborative Information Retrieval

Colum Foley, Alan F. Smeaton|ArXiv.org|Aug 6, 2009

Recommender Systems and Techniques参考文献 7被引用数 5

ひとこと要約

本論文は、分業や知識共有といった協調技術を焦点にした、同期型共同情報検索（SCIR）システムのシミュレーションベースの評価手法を提案する。システムが媒介する協調、特に分業が、結果の多様性と関連性を向上させることで、独立または非協調的な検索を上回る、グループ検索の効果性を著しく向上させることを示している。

ABSTRACT

Traditional Information Retrieval (IR) research has focussed on a single user interaction modality, where a user searches to satisfy an information need. Recent advances in web technologies and computer hardware have enabled multiple users to collaborate on many computer-supported tasks, therefore there is an increasing opportunity to support two or more users searching together at the same time in order to satisfy a shared information need, which we refer to as Synchronous Collaborative Information Retrieval (SCIR). SCIR systems represent a significant paradigmatic shift from traditional IR systems. In order to support effective SCIR, new techniques are required to coordinate users' activities. In addition, the novel domain of SCIR presents challenges for effective evaluations of these systems. In this paper we will propose an effective and re-usable evaluation methodology based on simulating users searching together. We will outline how we have used this evaluation in empirical studies of the effects of different division of labour and sharing of knowledge techniques for SCIR.

研究の動機と目的

• 同期型共同情報検索（SCIR）システムのための有効な評価手法の不足に対処すること。
• システムが媒介する協調（分業や知識共有を含む）がグループ検索パフォーマンスにどのように向上するかを調査すること。
• 2名のユーザー間のリアルタイム協調をモデル化する再利用可能な、シミュレーションベースの評価フレームワークを開発すること。
• 個々のパフォーマンスを超えて、ユーザーの順位付きリストにおける関連性と多様性を捉える、グループの効果性を測定すること。

提案手法

• 2名のユーザーがリアルタイムで協調する状況を、パrameterizedユーザー・モデルを用いて制御可能なシミュレーションで再現する。
• ユーザーの関連性判断に基づき、段階的に検索結果を改善するインクリメンタルな関連性フィードバックを採用する。
• 重複を最小限に抑え、タスクをユーザー間で最適に分配するように結果をフィルタリングすることで、分業を実装する。
• ブックマークと共有された関連性判断を組み込む、共同的で補完的な関連性フィードバックメカニズムを導入する。
• 信頼スコアをユーザーに割り当てることで、誤った関連性評価の影響を軽減するための権威重み付けを適用する。
• あるカットオフにおける、ユーザーの順位付きリストに含まれるユニークな関連ドキュメントの数を測定することで、グループの効果性を測定する。

実験結果

リサーチクエスチョン

• RQ1 システムが媒介する分業は、同期型共同検索の効果性にどのように影響するか？
• RQ2 共同フィードバックによる自動的知識共有は、グループ検索の成果にどの程度向上をもたらすか？
• RQ3 個々の関連性判断の誤りは、共同フィードバックメカニズムのパフォーマンスにどの程度影響を及えるか？
• RQ4 権威重み付けフィードバックは、SCIRにおける悪い関連性評価の悪影響を軽減できるか？
• RQ5 クエリの多様性を最大化する補完的関連性フィードバックは、結果の多様性と関連性を向上させるか？

主な発見

• システムが媒介する分業が、非協調的または独立した検索を上回る、グループ検索効果性の最大の向上をもたらした。
• 分業と知識共有の組み合わせにより、ユーザーの順位付きリストに含まれるユニークな関連ドキュメントの合計数が増加した。
• 共有されたブックマークを組み込んだ共同関連性フィードバックは、単独のフィードバックに比べて結果の質が向上した。
• 権威重み付けにより、不正確な関連性判断の悪影響が軽減され、共同フィードバックのロバスト性が向上した。
• 補完的関連性フィードバックは、順位付きリストにおける多様性を効果的に向上させ、関連ドキュメントのカバー範囲の拡大に寄与した。
• 提案されたシミュレーションベースの評価手法は、個々の指標を超えて、多様性と関連性を含むグループレベルのパフォーマンスを効果的に捉えた。