[论文解读] A Conversationalist Approach to Information Quality in Information Interaction and Retrieval

Frans van der Sluis|arXiv (Cornell University)|Oct 13, 2022

Social Media and Politics被引用 4

一句话总结

本文提出一种对话式方法来评估信息质量，将质量判断视为用户之间的协作性、对话式互动过程，而非仅依赖专家或用户反馈。文章认为，质量本质上是互动的，受社会共识与共同评估的影响，主张此类对话可提升排名的相关性与用户参与度，同时挑战权威与流行度主导的偏见。

ABSTRACT

Rather than using (proxies of) end user or expert judgment to decide on the ranking of information, this paper asks whether conversations about information quality might offer a feasible and valuable addition for ranking information. We introduce a theoretical framework for information quality, outlining how information interaction should be perceived as a conversation and quality be evaluated as a conversational contribution. Next, an overview is given of different systems of social alignment and their value for assessing quality and ranking information. We propose that a collaborative approach to quality assessment is preferable and raise key questions about the feasibility and value of such an approach for ranking information. We conclude that information quality is an inherently interactive concept, which involves an interaction between users of different backgrounds and in different situations as well as of quality signals on users' search behavior and experience.

研究动机与目标

• 将信息质量重新定义为一种动态的、互动的过程，而非文档的固有属性。
• 探究协作性、对话式质量评估是否能超越当前对专家或用户反馈的依赖，从而提升排名系统。
• 考察社会共识机制在评估与排名信息质量中的可行性与价值。
• 通过引入解释主义、对话式质量模型，挑战搜索排名中权威与流行度的主导地位。
• 探索如何通过信息互动中的质量讨论，利用不确定性与认知参与度。

提出的方法

• 提出一个理论框架，将信息交互概念化为对话，质量评估视为对话中的贡献。
• 基于解释主义认识论，将质量定位为一种共享的、协商建构的产物，而非客观或纯粹主观的属性。
• 回顾现有系统中已整合的社会共识机制（如点赞、举报、协同过滤）作为对话式质量评估的前驱。
• 分析不确定性与认知参与度在推动用户参与质量讨论中的作用。
• 提出，嵌入在搜索结果上下文中的质量信号可影响用户情绪与行为，从而增强参与度。
• 建议未来系统应将结构化、协作式质量对话整合进排名机制，基于众包的、情境化的评估。

实验结果

研究问题

• RQ1 信息质量能否被有意义地概念化为一种对话式贡献，而非文档的固有属性？
• RQ2 现有系统中的社会共识机制在多大程度上可支持或启发对话式质量评估方法？
• RQ3 用户在何种条件下会参与协作式质量讨论？其参与动机是什么？
• RQ4 对话式方法在多大程度上可减少信息检索中由权威与流行度带来的偏见？
• RQ5 如何设计质量对话以同时提升排名精度与用户体验？

主要发现

• 信息质量并非固有属性，而是一种由不同语境下多样用户互动协商建构的产物。
• 当前排名系统严重依赖专家或用户判断的代理指标，可能延续既有的权力结构与偏见。
• 用户受排名位置影响显著，但对质量的不确定性可激发认知参与与信息搜寻行为。
• 目前用户参与质量讨论的先例有限，但集体智能模型表明其具备潜在可行性。
• 对话式方法可将关注点从对抗错误信息转向理解并促进信息的积极特质。
• 由于覆盖范围有限、冷启动问题以及对大规模情境化质量评估的需求，可扩展性仍是主要挑战。