[논문 리뷰] Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers

Baobao Zhang, Markus Anderljung외 4명|arXiv (Cornell University)|2021. 05. 05.

Ethics and Social Impacts of AI참고 문헌 29인용 수 12

한 줄 요약

이 연구는 2019년 최고의 인공지능 학회에서 논문을 수락한 524명의 기계학습 연구자를 대상으로, 그들이 인공지능 윤리 및 거버넌스에 대해 어떻게 보는지 조사한다. 연구자들은 국제기구와 과학기관에 대해 높은 신뢰를 보이며, 서유럽 기술 기업에는 중간 수준의 신뢰를, 군대와 중국 기술 기업에는 낮은 신뢰를 보인다. 연구자들은 사전 출판 피해 검토를 강력히 지지하고, 인공지능 안전성 연구를 우선시하는 데에 높은 공감대를 형성한다. 특히 치명적인 자율 무기에는 상당한 반대가 있지만, 비치명적인 군사용 AI 응용 분야에는 더 열려 있는 편이다.

ABSTRACT

Machine learning (ML) and artificial intelligence (AI) researchers play an important role in the ethics and governance of AI, including taking action against what they perceive to be unethical uses of AI (Belfield, 2020; Van Noorden, 2020). Nevertheless, this influential group's attitudes are not well understood, which undermines our ability to discern consensuses or disagreements between AI/ML researchers. To examine these researchers' views, we conducted a survey of those who published in the top AI/ML conferences (N = 524). We compare these results with those from a 2016 survey of AI/ML researchers (Grace, Salvatier, Dafoe, Zhang, & Evans, 2018) and a 2018 survey of the US public (Zhang & Dafoe, 2020). We find that AI/ML researchers place high levels of trust in international organizations and scientific organizations to shape the development and use of AI in the public interest; moderate trust in most Western tech companies; and low trust in national militaries, Chinese tech companies, and Facebook. While the respondents were overwhelmingly opposed to AI/ML researchers working on lethal autonomous weapons, they are less opposed to researchers working on other military applications of AI, particularly logistics algorithms. A strong majority of respondents think that AI safety research should be prioritized and that ML institutions should conduct pre-publication review to assess potential harms. Being closer to the technology itself, AI/ML re-searchers are well placed to highlight new risks and develop technical solutions, so this novel attempt to measure their attitudes has broad relevance. The findings should help to improve how researchers, private sector executives, and policymakers think about regulations, governance frameworks, guiding principles, and national and international governance strategies for AI.

연구 동기 및 목표

• 주요 기계학습 연구자들이 인공지능 윤리 및 거버넌스에 대해 어떻게 보는지 이해하기 위해.
• 일반 대중과의 비교를 통해 연구자들이 공공 및 민간 부문의 기관에 대해 얼마나 신뢰하는지 평가하기 위해.
• 연구자들이 인공지능 안전성 연구를 우선시하고 사전 출판 피해 검토를 시행하는 데에 대해 어떻게 보는지 평가하기 위해.
• 연구자들이 군사용 인공지능 응용 분야, 특히 치명적인 자율 무기 프로젝트에 참여할 의사가 있는지 조사하기 위해.
• AI/ML 연구 공동체 내에서의 공감대와 갈등을 파악하여 정책 및 거버넌스 전략 수립에 기여하기 위해.

제안 방법

• 2019년 NeurIPS 또는 ICML에서 논문을 수락한 524명의 기계학습 연구자들에게 설문 조사를 실시하였다.
• 설문에는 국제기구, 정부, 군대, 기술 기업, 과학 기관 등 다양한 기관에 대한 신뢰도를 직접 측정하는 항목이 포함되었다.
• 연구자들이 인공지능 안전성 연구의 우선순위, 사전 출판 검토, 군사용 AI 프로젝트 참여에 대한 견해를 묻는 질문이 포함되었다.
• 설문에는 치명적인 자율 무기와 알고리즘 편향 등의 윤리적 우려 사항에 대한 질문도 포함되었다.
• 연구자들의 인식을 일반 대중의 2018년 여론 조사와 비교하여 연구자와 일반 대중의 인식 차이를 분석하였다.
• AI 안전성에 대한 숙련도, 안전성 연구 우선순위의 중요성, 사전 출판 검토 지지도 간의 상관관계를 분석하기 위해 통계 모델을 사용하였다.

실험 결과

연구 질문

• RQ1 AI/ML 연구자들이 인공지능 개발을 공공의 이해에 따라 이끄는 데 있어 가장 신뢰하는 공공 및 민간 부문 기관은 무엇인가?
• RQ2 AI/ML 연구자들이 군사용 인공지능 응용 분야에 대해 보이는 견해와 치명적인 자율 무기 문제에 대해 보이는 견해는 어떻게 다른가?
• RQ3 연구자들은 기계학습 연구에서의 사전 출판 피해 검토 절차를 어느 정도 지지하는가?
• RQ4 연구자들이 인공지능 안전성 연구의 우선순위를 어떻게 보는지에 따라 거버넌스 메커니즘 지지도가 어떻게 관련되어 있는가?
• RQ5 연구자들의 신뢰 수준은 일반 대중과 어떻게 다를까, 특히 국가 군대와 기술 기업에 대해선 어떻게 다를까?

주요 결과

• 68%의 AI/ML 연구자들이 인공지능 안전성 연구를 우선시해야 한다고 보며, 안전 중심 연구의 중요성을 강력히 공감하고 있음을 나타낸다.
• 71%의 연구자들이 기계학습 연구의 잠재적 피해를 평가하기 위해 사전 출판 검토를 지지하며, 기관 차원의 감시 체계에 널리 지지하고 있음을 보여준다.
• 연구자들은 국제기구(예: 유엔, 유럽연합)와 과학 기관에 대해 높은 신뢰를 보이며, 국가 군대와 중국 기술 기업에는 낮은 신뢰를 보인다.
• 치명적인 자율 무기 프로젝트에 참여하는 것에 찬성하는 연구자는 오직 14%에 불과하지만, 물자 운반 알고리즘 같은 비치명적 군사용 AI에는 44%가 참여에 열려 있다.
• 연구자들은 서유럽 기술 기업에 대해 중간 수준의 신뢰를 보이며, 일반 대중이 미국 군대에 대해 보이는 신뢰도보다는 상당히 낮은 수준의 신뢰를 보인다.
• AI 안전성에 대한 숙련도와 안전성 연구의 중요성을 인식하는 정도가 사전 출판 검토 지지도와 유의미하게 상관관계가 있다(p < 0.01), 이는 안전성 인식과 거버넌스 지지도 간의 강력한 연관성을 확인한다.