[论文解读] Frontiers of Information Access Experimentation for Research and Education (Dagstuhl Seminar 23031)

Christine Bauer, Ben Carterette+2 more|arXiv (Cornell University)|Jan 1, 2023

Semantic Web and Ontologies被引用 24

一句话总结

本文提出了一套全面的框架，旨在通过解决信息检索、推荐系统和自然语言处理领域在方法论上的不足，提升信息检索研究的实验严谨性和教育水平。该框架提出五项核心举措——真实世界评估、人机相关性判断、方法论教育、结果盲审和作者指导，辅以由社区驱动的动态指南，以增强研究的有效性、公平性和可复现性。

ABSTRACT

This report documents the program and the outcomes of Dagstuhl Seminar 23031 ``Frontiers of Information Access Experimentation for Research and Education'', which brought together 37 participants from 12 countries. The seminar addressed technology-enhanced information access (information retrieval, recommender systems, natural language processing) and specifically focused on developing more responsible experimental practices leading to more valid results, both for research as well as for scientific education. The seminar brought together experts from various sub-fields of information access, namely IR, RS, NLP, information science, and human-computer interaction to create a joint understanding of the problems and challenges presented by next generation information access systems, from both the research and the experimentation point of views, to discuss existing solutions and impediments, and to propose next steps to be pursued in the area in order to improve not also our research methods and findings but also the education of the new generation of researchers and developers. The seminar featured a series of long and short talks delivered by participants, who helped in setting a common ground and in letting emerge topics of interest to be explored as the main output of the seminar. This led to the definition of five groups which investigated challenges, opportunities, and next steps in the following areas: reality check, i.e. conducting real-world studies, human-machine-collaborative relevance judgment frameworks, overcoming methodological challenges in information retrieval and recommender systems through awareness and education, results-blind reviewing, and guidance for authors.

研究动机与目标

• 该研究回应了信息检索研究领域对更负责任、更有效且更具教育意义的实验实践日益增长的需求。
• 旨在提升信息检索、推荐系统和自然语言处理系统实验评估的内部效度、结构效度和外部效度。
• 旨在促进学术界与工业界在实验与评估方面的协作。
• 旨在开发教育资源，使下一代研究人员具备关键的实验技能。
• 本文提出动态的、由社区维护的指南，以标准化并提升该领域研究投稿与评审的质量。

提出的方法

• 研讨会汇聚了来自12个国家的37位专家，识别出信息检索、推荐系统和自然语言处理领域在实验实践方面的核心挑战。
• 成立了五个工作组，分别研究：真实世界研究、人机相关性判断、方法论教育、结果盲审和作者指导。
• 作者制定了初步的一套简洁、广泛且具建设性的作者指南，强调动机、方法论论证和可复现性。
• 指南强调明确的主张、深入的文献综述、方法论推理以及伦理的数据使用。
• 提出结果盲审，以将关注点从性能提升转向理论严谨性、假设质量及方法论设计。
• 指南旨在作为动态文档，可随时修订并接受社区咨询，建议将其整合进会议和期刊的评审流程中。

实验结果

研究问题

• RQ1 在信息访问研究中，哪些最具前景的实验方法论能够推动负责任的研究？
• RQ2 如何将公平性、问责制和透明度（FAccT）嵌入实验实践（FAccT-E）？
• RQ3 学术界与工业界在实验中合作的有效模式是什么？
• RQ4 如何在学术教育中系统性地教授关键的实验技能？
• RQ5 如何设计共享的评估基础设施和混合参与模式，以支持协作研究？

主要发现

• 所提出的作者指导强调明确的动机、范围适切的主张，以及与先前工作的明确区分，重点关注方法论论证而非性能提升。
• 指南建议使用多样化、公开可获取的数据集，并提供关于数据来源、处理方式和代码的充分细节，以确保可复现性。
• 提出结果盲审，以减少对性能导向结果的偏见，优先考虑强有力的假设、方法论设计和分析计划。
• 工作组发现，真实世界研究在招募、数据代表性及纵向设计方面面临挑战，需要新的基础设施和领域特定的方法。
• 人机协作进行相关性判断显示出潜力，但大语言模型能否替代人工评估员的条件尚不明确，需进一步研究。
• 鼓励社区将指南视为动态文档，定期更新并广泛征求意见，以反映不断演变的研究规范和伦理标准。