[논문 리뷰] Like a Researcher Stating Broader Impact For the Very First Time

Grace Abuhamad, Claudel Rheault|arXiv (Cornell University)|2020. 11. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 5인용 수 7

한 줄 요약

이 논문은 50명의 연구자들을 대상으로 한 설문 조사로, NeurIPS의 의무적 보다 넓은 영향 평가 문단 요구사항에 대한 연구자들의 경험을 조사한다. 다수의 연구자들은 이 작업이 관리 가능하고 과도하게 부담스럽지 않다고 느꼈지만, 리뷰어가 이 문단을 어떻게 평가하는지에 대해 불확실한 느낌을 받았으며, 92퍼센트는 향후 제출을 개선하기 위해 구체적인 예시를 요청했다. 연구는 설계 개선, 역량 강화 워크숍, 공동 책임 모델을 제안하여 윤리적 연구 관행을 강화한다.

ABSTRACT

In requiring that a statement of broader impact accompany all submissions for this year's conference, the NeurIPS program chairs made ethics part of the stake in groundbreaking AI research. While there is precedent from other fields and increasing awareness within the NeurIPS community, this paper seeks to answer the question of how individual researchers reacted to the new requirement, including not just their views, but also their experience in drafting and their reflections after paper acceptances. We present survey results and considerations to inform the next iteration of the broader impact requirement should it remain a requirement for future NeurIPS conferences.

연구 동기 및 목표

• NeurIPS 공동체의 연구자들이 새로운 의무적 보다 넓은 영향 평가 문단 요구사항을 어떻게 경험하고 접근했는지 이해하기 위해.
• 이 문단이 논문 수락 결정과 리뷰어 평가에 미친 것으로 인식되는 영향을 검토하기 위해.
• 특히 이론적 또는 기초 연구 분야에서 보다 넓은 영향을 설명하는 데 어려움을 겪는 연구자들의 능력 격차를 규명하기 위해.
• 프레임워크, 지침, 지원 메커니즘에 대한 연구자 피드백을 수집하여 향후 보다 넓은 영향 요구사항의 개선을 위한 정보를 제공하기 위해.
• 연구자 역량 향상과 AI 개발에서의 공동 책임을 강화함으로써 윤리적 연구 관행을 촉진하기 위해.

제안 방법

• NeurIPS에 제출한 바 있거나 없는 연구자들을 대상으로 익명의 온라인 혼합 방법 설문 조사(객관식 및 주관식 질문 포함)를 실시하였다.
• 주로 학계 및 산업계 연구자들로 구성된 50명의 응답자로부터 데이터를 수집하였으며, 직업 단계와 연구 분야에 중점을 두었다.
• 보다 넓은 영향 평가 문단 작성 과정, 인식된 과제, 적정성에 대한 자신감, 수락에 미치는 영향에 대한 반응을 분석하였다.
• 요구사항의 프레임워크, 인식된 부담, 향후 개선 방안에 대한 연구자들의 견해를 탐색하였다.
• 지원 수단으로서 예시(92퍼센트)와 지침(두 번째로 많이 요청됨)이 가장 도움이 될 것임을 요청하였다.
• 향후 개선 방안으로는 고품질 문단을 유도하기 위한 인centive 메커니즘, 다학제적 워크숍, 다스테이크홀더 평가 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 연구자들은 보다 넓은 영향 평가 문단을 어떻게 작성하였으며, 어떤 과제에 부딪혔는가?
• RQ2 연구자들은 자신들의 보다 넓은 영향 평가 문단이 논문 수락 결정에 얼마나 영향을 미쳤다고 생각했는가?
• RQ3 윤리적 목적을 지닌 요구사항임에도 불구하고 일부 연구자들이 보다 넓은 영향 요구사항을 행정적 절차이거나 중요하지 않게 느꼈던 이유는 무엇인가?
• RQ4 예시나 지침과 같은 어떤 지원 수단이 보다 넓은 영향 평가 문단의 품질과 일관성을 가장 향상시킬 수 있는가?
• RQ5 연구자 부담을 증가시키지 않으면서도 윤리적 인식을 향상시킬 수 있도록 보다 넓은 영향 요구사항을 어떻게 재설계할 수 있는가?

주요 결과

• 응답자의 83.8퍼센트는 공동 저자 그룹 내에서 보다 넓은 영향 평가 문단을 완료하였으며, 대부분 이 작업에 두 시간 이내를 소비하였다.
• 광범위한 불확실성에도 불구하고, 43.2퍼센트의 응답자는 자신의 문단이 요구사항을 충분히 충족시켰다고 확신하거나 매우 확신한다고 느꼈다.
• 75퍼센트 이상의 제출자들이 보다 넓은 영향 평가 문단이 심사 과정에서 전혀 고려되지 않았다고 믿었지만, 거의 90퍼센트는 리뷰어가 이 문단을 어떻게 평가하는지 명확하지 않았다고 느꼈다.
• 응답자의 92퍼센트가 향후 제출을 위해 과거의 보다 넓은 영향 평가 문단 예시가 가장 유용한 자원이 될 것이라고 밝혔다.
• 모든 직업 단계의 연구자들이 이 작업이 관리 가능하다고 느꼈지만, 일부(특히 이론 분야에 있는 연구자들)는 이 문단이 실질적 영향과는 관련이 없거나 추상적이라고 느꼈다.
• 이 연구는 향후 개선 방안으로 예시 모음, 구조화된 지침, 역량 강화 워크숍, 다스테이크홀더 평가 프레임워크를 제안하여 윤리적 연구 기준을 강화한다.