[논문 리뷰] ESR: Ethics and Society Review of Artificial Intelligence Research

Michael S. Bernstein, Margaret Levi외 4명|arXiv (Cornell University)|2021. 06. 22.

Ethics and Social Impacts of AI참고 문헌 84인용 수 14

한 줄 요약

이 논문은 스탠포드 대학에서 AI 연구에 대해 인간 대상 연구를 초월한 사회적 및 윤리적 위험을 평가하기 위한 의무적인 기관 심의위원회인 윤리 및 사회 리뷰(ESR)를 도입했다. 41개의 제안서를 검토한 결과, 少수 집단 피해, 이해관계자 포함, 双용(이중용도) 사용, 데이터 표현 문제 등 반복적인 우려가 제기되었으며, 연구자 58%가 설계 변경을, 100%가 재참여를 원한다는 응답을 보여, 윤리 기반 AI 연구 자금 지원에 윤리가 통합되는 데 효과적이라는 것을 입증한다.

ABSTRACT

Artificial intelligence (AI) research is routinely criticized for its real and potential impacts on society, and we lack adequate institutional responses to this criticism and to the responsibility that it reflects. AI research often falls outside the purview of existing feedback mechanisms such as the Institutional Review Board (IRB), which are designed to evaluate harms to human subjects rather than harms to human society. In response, we have developed the Ethics and Society Review board (ESR), a feedback panel that works with researchers to mitigate negative ethical and societal aspects of AI research. The ESR's main insight is to serve as a requirement for funding: researchers cannot receive grant funding from a major AI funding program at our university until the researchers complete the ESR process for the proposal. In this article, we describe the ESR as we have designed and run it over its first year across 41 proposals. We analyze aggregate ESR feedback on these proposals, finding that the panel most commonly identifies issues of harms to minority groups, inclusion of diverse stakeholders in the research plan, dual use, and representation in data. Surveys and interviews of researchers who interacted with the ESR found that 58% felt that it had influenced the design of their research project, 100% are willing to continue submitting future projects to the ESR, and that they sought additional scaffolding for reasoning through ethics and society issues.

연구 동기 및 목표

• 전통적인 IRB가 다루지 않는 인간 대상 연구를 초월한 AI 연구의 사회적 및 윤리적 위험 평가를 위한 기관적 메커니즘 부족 문제를 해결하기 위해.
• 체계적 편향, 노동력 대체, 불균형 결과 등 AI의 사회적 영향에 대한 점증하는 비판에 대응하기 위해.
• 기존 자금 지원 메커니즘과 융합되며 윤리적 고려사항을 초기 단계에 통합할 수 있도록 확장 가능한 의무적 심의 프로세스를 개발하기 위해.
• 전문가 패anel과의 구조적이고 반복적인 심의를 통해 연구 설계에 영향을 주는 피드백 루프를 만들기 위해.
• 다른 대학 및 자금 기관이 채택할 수 있는 AI 연구 윤리 심의의 기관화 모델을 수립하기 위해.

제안 방법

• 스탠포드 대학에서 AI 기금 제안서의 사전 자금 지원 조건으로 윤리 및 사회 리뷰(ESR)를 의무적으로 시행하기 위해.
• ESR를 자금 지원 파이프라인에 통합: 연구자들이 기금 제안서와 함께 윤리적 및 사회적 영향에 대한 성명서를 제출하도록 하기 위해.
• 연구자와 다학제적 ESR 패널 간의 반복적 심의 사이클을 통해 자금 지원 결정 이전에 피드백과 수정을 시행하기 위해.
• 철학, 정치학, 의학, 행동과학 등 다양한 분야의 전문가로 구성된 패널을 활용해 사회적 위험을 평가하기 위해.
• 소외된 집단에 대한 피해, 이해관계자 포함, 이중용도 위험, 데이터 표현 문제 등을 강조하는 구조화된 피드백 프로세스를 적용하기 위해.
• 연구자들로부터의 설문조사 및 인터뷰 데이터를 수집·분석하여 ESR 프로세스의 영향력과 사용성 평가하기 위해.

실험 결과

연구 질문

• RQ1 기존의 IRB 범위를 초월하는 AI 연구의 사회적 및 윤리적 위험을 평가하기 위한 기관 심의 프로세스는 어떻게 설계할 수 있는가?
• RQ2 의무적인 윤리 심의 프로세스는 AI 연구 프로젝트의 설계 및 범위에 어느 정도 영향을 미치는가?
• RQ3 이러한 심의 프로세스를 통해 AI 연구 제안서에서 가장 흔하게 식별되는 윤리적 및 사회적 위험 유형은 무엇인가?
• RQ4 연구자들은 의무적인 윤리 심의 패널의 가치와 영향력에 대해 어떻게 평가하는가?
• RQ5 AI 연구 자금 지원에 윤리가 광범위하고 공정하며 효과적으로 통합되기 위해 필요한 기관적 구조는 무엇인가?

주요 결과

• ESR 프로세스는 첫 해 동안 41개의 AI 연구 제안서에 적용되었으며, 피드백을 통해 여러 프로젝트에서 반복적인 윤리적 우려가 확인되었다.
• 가장 흔한 문제들은 소수 집단(예: 인종, 성별, 사회경제적 배경)에 대한 피해, 연구 설계에서 다양한 이해관계자의 포함 부족, 이중용도 위험, 문제적 데이터 표현이었다.
• 연구자 58%가 ESR 피드백으로 인해 프로젝트 설계에 구체적인 변화를 도입했다는 보고를 하여, 연구 개발에 실질적인 영향을 미쳤음을 시사한다.
• 설문조사에 응답한 연구자 100%가 향후 프로젝트를 ESR에 다시 제출할 의사가 있다고 밝혀, 강력한 기관적 수용과 인식된 가치를 보여준다.
• 연구자들은 윤리적 사고를 위한 추가적인 지원(스캐폴딩)을 요청하여, 심의 프로세스 자체를 초월한 더 체계적인 지침이 필요하다는 점을 시사한다.
• ESR 프로세스가 연구자들이 이전에 간과했던 윤리적 차원, 특히 권력 관계와 체계적 불평등에 대해 고려하도록 유도했을 때 가장 유용하게 여겨졌다.