[论文解读] Like a Researcher Stating Broader Impact For the Very First Time

Grace Abuhamad, Claudel Rheault|arXiv (Cornell University)|Nov 25, 2020

Explainable Artificial Intelligence (XAI)参考文献 5被引用 7

一句话总结

本文通过调查50位研究人员，探讨了NeurIPS强制要求撰写更广泛影响声明的体验。研究发现，尽管大多数研究人员认为该任务可管理且负担不重，但许多人对评审者如何评估声明感到不确定，且92%的受访者表示希望获得具体示例以改进未来投稿。研究提出改进设计、开展能力建设工作坊以及实施共享责任模式，以加强伦理研究实践。

ABSTRACT

In requiring that a statement of broader impact accompany all submissions for this year's conference, the NeurIPS program chairs made ethics part of the stake in groundbreaking AI research. While there is precedent from other fields and increasing awareness within the NeurIPS community, this paper seeks to answer the question of how individual researchers reacted to the new requirement, including not just their views, but also their experience in drafting and their reflections after paper acceptances. We present survey results and considerations to inform the next iteration of the broader impact requirement should it remain a requirement for future NeurIPS conferences.

研究动机与目标

• 了解NeurIPS社区的研究人员如何体验并应对新的强制性更广泛影响声明要求。
• 考察该声明对论文录用决策及评审评估的影响。
• 识别研究人员在阐述更广泛影响方面遇到的挑战，尤其是在理论或基础性研究中。
• 通过收集研究人员对表述方式、指南和支持机制的反馈，为未来更广泛影响要求的迭代提供依据。
• 通过识别提升研究人员能力与共享责任的方式，促进伦理研究实践。

提出的方法

• 对曾向NeurIPS投稿及未投稿的研究人员开展匿名、在线的混合方法调查，包含封闭式与开放式问题。
• 共收集50名受访者的数据，主要为学术界与产业界研究人员，重点关注其职业阶段与研究领域。
• 分析受访者在撰写更广泛影响声明过程中的体验、感知挑战、对自身表述充分性的信心，以及对录用结果的影响。
• 探讨研究人员对要求表述方式的看法、感知负担，以及改进建议。
• 征求反馈，结果显示最需要的支持是示例（92%），其次是指南（第二受欢迎）。
• 提出未来改进措施，包括高质量声明的激励机制、跨学科工作坊，以及多方参与的评估框架。

实验结果

研究问题

• RQ1 研究人员如何撰写更广泛影响声明？他们遇到了哪些挑战？
• RQ2 研究人员在多大程度上认为其更广泛影响声明影响了论文的录用决定？
• RQ3 尽管该要求具有伦理意图，为何一些研究人员仍将其视为官僚程序或不重要？
• RQ4 何种支持（如示例或指南）最有助于提升更广泛影响声明的质量与一致性？
• RQ5 如何重新设计更广泛影响要求，以增强伦理意识，同时不增加研究人员的负担？

主要发现

• 83.8%的受访者在合作者团队内完成更广泛影响声明，其中大多数花费时间少于两小时。
• 尽管普遍存在不确定性，仍有43.2%的受访者表示对自己声明的充分性感到自信或非常自信。
• 超过75%的投稿者认为更广泛影响声明在评审过程中未被考虑，但近90%的人表示不清楚评审者如何评估这些声明。
• 92%的受访者表示，过去更广泛影响声明的示例是最有帮助的资源，以改进未来投稿。
• 所有职业阶段的研究人员均认为该任务可管理，尽管部分人（尤其是理论领域研究者）认为其具有推测性或与实际影响脱节。
• 本研究建议未来改进措施包括：精选示例、结构化指南、能力建设工作坊，以及多方参与的评估机制，以强化伦理研究规范。