[論文レビュー] A Conversationalist Approach to Information Quality in Information Interaction and Retrieval

Frans van der Sluis|arXiv (Cornell University)|Oct 13, 2022

Social Media and Politics被引用数 4

ひとこと要約

本稿は、検索および情報抽出における情報品質のための会話的アプローチを提唱し、品質評価を専門家やユーザーのフィードバックに依存するのではなく、ユーザー間の協働的・会話的プロセスとして位置づける。品質は本質的に相互作用的であり、社会的整合性と共有評価によって形作られると主張する。このような会話的プロセスは、ランク付けの関連性とユーザー参加を向上させるとともに、支配的な権威や人気バイアスに挑戦する可能性を示す。

ABSTRACT

Rather than using (proxies of) end user or expert judgment to decide on the ranking of information, this paper asks whether conversations about information quality might offer a feasible and valuable addition for ranking information. We introduce a theoretical framework for information quality, outlining how information interaction should be perceived as a conversation and quality be evaluated as a conversational contribution. Next, an overview is given of different systems of social alignment and their value for assessing quality and ranking information. We propose that a collaborative approach to quality assessment is preferable and raise key questions about the feasibility and value of such an approach for ranking information. We conclude that information quality is an inherently interactive concept, which involves an interaction between users of different backgrounds and in different situations as well as of quality signals on users' search behavior and experience.

研究の動機と目的

• 情報品質を文書の固有的性質としてではなく、動的で相互作用的なプロセスとして再定式化すること。
• 専門家やユーザーのフィードバックに依存する現在のシステムを超えて、協働的・会話的品質評価がランク付けシステムをどのように改善できるかを調査すること。
• 社会的整合性メカニズムが情報品質の評価とランク付けにおいて実現可能で価値があるかを検討すること。
• 権威と人気の優位性を挑戦し、解釈的・会話的モデルによる品質の定義を導入することで、検索ランクにおける支配的バイアスを是正すること。
• 不確実性と認知的関与が情報インタラクションにおける品質議論を通じてどのように活用できるかを検討すること。

提案手法

• 情報インタラクションを会話として概念化し、品質を会話的貢献として評価する理論的枠組みを提唱する。
• 解釈的認識論を用いて、品質を客観的でもなく、主観的でもない、共有され合意形成された構造として位置づける。
• アップボーティング、フラグ制度、共同フィルタリングなどの社会的整合性メカニズムを含む既存のシステムをレビューし、会話的品質評価の前駆的要因として位置づける。
• 不確実性と認知的関与が、ユーザーが品質議論に参加する動機づけとして果たす役割を分析する。
• 検索結果の文脈に埋め込まれた品質信号が、ユーザーの感情や行動に影響を与え、参加を促進すると提案する。
• 今後のシステムは、集団的・状況的評価に基づいた、構造的で協働的な品質会話のランク付けメカニズム統合を推奨する。

実験結果

リサーチクエスチョン

• RQ1 情報品質を文書固有の性質としてではなく、会話的貢献として意味的に概念化できるか？
• RQ2 既存システムにおける社会的統合メカニズムは、品質評価の会話的アプローチを支援または示唆するものか？
• RQ3 ユーザーが協働的品質議論に参加する条件は何か。参加を促す要因は何か？
• RQ4 会話的アプローチによって、情報抽出における権威と人気によるバイアスをどの程度軽減できるか？
• RQ5 品質会話は、ランク付けの正確性とユーザー体験の両方を向上させるようにどのように設計できるか？

主な発見

• 情報品質は固有の性質ではなく、異なる文脈における多様なユーザーが相互作用し合って形成される、協働的で合意形成された構造的性質である。
• 現在のランク付けシステムは、専門家やユーザーの判断の代理指標に大きく依存しており、これにより既存の権力構造とバイアスが固定化される可能性がある。
• ユーザーはランク順位に強く影響を受けるが、品質に関する不確実性は認知的関与と情報探索を促進する要因となる。
• ユーザーが品質議論に参加する前例は限定的であるが、集団知のモデルからその実現可能性は示唆されている。
• 会話的アプローチにより、誤情報の撲滅に注力するのではなく、情報の肯定的特徴の理解と促進に焦点を移すことができる。
• カバレッジの制限、コールドスタート問題、大規模かつ状況に即した品質評価の必要性から、スケーラビリティは依然として課題である。