[論文レビュー] Like a Researcher Stating Broader Impact For the Very First Time

Grace Abuhamad, Claudel Rheault|arXiv (Cornell University)|Nov 25, 2020

Explainable Artificial Intelligence (XAI)参考文献 5被引用数 7

ひとこと要約

本論文は、50名の研究者を対象とした調査を通じて、NeurIPSの義務的な広範な影響文の要件について研究者がどのように経験したかを調査している。ほとんどの研究者がこの作業を管理可能で、過度な負担ではないと感じた一方で、多くの研究者がレビュアーが文をどのように評価しているかについて不確実感を抱いており、92％が今後の提出を改善するための具体的な例を希望した。研究では、デザインの改善、能力強化のためのワークショップ、共有責任のモデルを提言し、倫理的な研究実践を強化することを目的としている。

ABSTRACT

In requiring that a statement of broader impact accompany all submissions for this year's conference, the NeurIPS program chairs made ethics part of the stake in groundbreaking AI research. While there is precedent from other fields and increasing awareness within the NeurIPS community, this paper seeks to answer the question of how individual researchers reacted to the new requirement, including not just their views, but also their experience in drafting and their reflections after paper acceptances. We present survey results and considerations to inform the next iteration of the broader impact requirement should it remain a requirement for future NeurIPS conferences.

研究の動機と目的

• NeurIPSコミュニティの研究者が新しい義務的な広範な影響文の要件をどのように経験し、どのように対処したかを理解すること。
• この文が論文の承認意思決定およびレビュアー評価に与えるとされる影響を検討すること。
• 特に理論的または基盤的業績において、広範な影響を明確に表現する能力に課題やギャップがあることの特定。
• フレーミング、ガイドライン、支援メカニズムに関する研究者のフィードバックを収集することで、今後の広範な影響文要件の改善を支援すること。
• 研究者の能力強化とAI開発における共有責任を促進することで、倫理的な研究実践を推進すること。

提案手法

• NeurIPSに提出した研究者および提出しなかった研究者を対象に、匿名でオンラインで実施された混合手法のアンケート調査（閉じた質問と開放的質問を併用）。
• 主に学術界および産業界の研究者を対象に、キャリア段階と研究分野に注目しながら、50名の回答者からデータを収集。
• 広範な影響文の作成プロセス、認識された課題、適切性に対する自信、承認に与える影響に関する回答を分析。
• 要件のフレーミング、認識された負担、改善のための提案に関する研究者の見解を調査。
• 主に例（92％）とガイドライン（2番目に多い要望）が、何よりも役立つ支援であるとフィードバックを収集。
• 今後の改善策として、高品質な文作成を促進するインcentiveメカニズム、国際的分野横断的ワークショップ、複数ステークホルダーによる評価フレームワークの提案。

実験結果

リサーチクエスチョン

• RQ1 研究者は広範な影響文をどのように作成し、どのような課題に直面したか？
• RQ2 研究者が広範な影響文が論文承認意思決定に与える影響をどの程度信じていたか？
• RQ3 倫理的意図があるにもかかわらず、一部の研究者が広範な影響要件を官僚的または重要でないと感じたのはなぜか？
• RQ4 例やガイドラインのような支援は、広範な影響文の質と一貫性をどの程度向上させられるか？
• RQ5 研究者の負担を増やさずに、倫理的認識を高められるように、広範な影響要件をどのように再設計できるか？

主な発見

• 回答者の83.8％が、共同著者グループ内で広範な影響文を完了しており、ほとんどの場合2時間未満で作成した。
• 広範な不確実性にもかかわらず、43.2％の回答者が、自分の文が要件を適切に満たしていると自信を持っているか、非常に自信を持っていると感じた。
• 75％を超える提出者らが、広範な影響文がレビュー過程でまったく考慮されていないと考えていたが、約90％がレビュアーが文をどのように評価しているかが曇っていた。
• 回答者の92％が、今後の提出のために過去の広範な影響文の例が最も役立つリソースであると示した。
• あらゆるキャリア段階の研究者がこの作業を管理可能だと感じたが、特に理論分野の研究者の中には、実用的影響とは関係のない推測的・断絶的と感じた人もいた。
• 本研究では、キュレートされた例、構造化されたガイドライン、能力強化のためのワークショップ、多様なステークホルダーによる評価フレームワークを含む今後の改善策を提言している。