[논문 리뷰] Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims

Miles Brundage, Shahar Avin외 57명|Data Archiving and Networked Services (DANS)|2020. 04. 15.

Ethics and Social Impacts of AI인용 수 212

한 줄 요약

이 보고서는 AI 개발에 대한 검증 가능한 주장 생성을 목표로 제도적, 소프트웨어적, 하드웨어적 메커니즘의 도구함을 제시하여 개발자, 규제당국, 사회 간의 책임성과 신뢰를 높이는 것을 목표로 한다.

ABSTRACT

With the recent wave of progress in artificial intelligence (AI) has come a growing awareness of the large-scale impacts of AI systems, and recognition that existing regulations and norms in industry and academia are insufficient to ensure responsible AI development. In order for AI developers to earn trust from system users, customers, civil society, governments, and other stakeholders that they are building AI responsibly, they will need to make verifiable claims to which they can be held accountable. Those outside of a given organization also need effective means of scrutinizing such claims. This report suggests various steps that different stakeholders can take to improve the verifiability of claims made about AI systems and their associated development processes, with a focus on providing evidence about the safety, security, fairness, and privacy protection of AI systems. We analyze ten mechanisms for this purpose--spanning institutions, software, and hardware--and make recommendations aimed at implementing, exploring, or improving those mechanisms.

연구 동기 및 목표

• AI 개발에 대한 검증 가능한 주장으로 윤리 원칙에서의 전환을 촉진한다.
• 검증 가능한 주장을 정의하고 이를 뒷받침할 수 있는 증거의 종류를 식별한다.
• 제도, 소프트웨어, 하드웨어에 걸친 포괄적인 메커니즘 도구상자를 제안한다.
• 이러한 메커니즘을 실행하고 확장하기 위한 실행 가능한 권고안을 제시한다.

제안 방법

• 메커니즘을 세 가지 얽혀 있는 차원으로 구성한다: 제도, 소프트웨어, 하드웨어.
• 제3자 감사, 레드팀 연습, 편향 및 안전 현상금, AI 사고 공유(제도적)와 같은 메커니즘을 조사하고 논의한다.
• 감사 추적, 해석가능성, 프라이버시 보장 ML을 핵심 소프트웨어 메커니즘으로 식별한다(증거 경로 포함).
• 안전한 하드웨어, 고정밀 계산 측정, 학계를 위한 컴퓨트 지원을 하드웨어 메커니즘으로 강조한다(검증 함의 포함).
• 구체적인 권고안을 제시하고 도구상자에 정보를 제공한 워크숍 프로세스를 개요한다(부록 I).

실험 결과

연구 질문

• RQ1 AI 개발에 대한 주장들의 검증 가능성을 강화할 수 있는 어떤 메커니즘이 있는가?
• RQ2 다양한 이해관계자의 검증을 가능하게 하도록 제도, 소프트웨어, 하드웨어 메커니즘을 어떻게 설계하고 조정할 수 있는가?
• RQ3 제3자 감사, 레드팀핑, 안전 및 편향 발견 인센티브 구조를 구현하기 위해 필요한 구체적인 단계와 협력은 무엇인가?
• RQ4 감사 추적, 해석가능성, 프라이버시를 보장하는 ML이 AI 시스템의 안전, 보안, 프라이버시 주장을 어떻게 입증할 수 있는가?
• RQ5 검증 가능한 주장을 뒷받침하는 데 있어 하드웨어 보안 기능과 컴퓨트 투명성의 역할은 무엇인가?

주요 결과

• 다양한 메커니즘 도구함은 AI 개발의 검증 가능성을 높이고 윤리 세탁의 위험을 줄일 수 있다.
• 제도적 메커니즘은 인센티브, 투명성, 정보 공유를 형성하여 검증 가능한 주장을 뒷받침한다.
• 소프트웨어 메커니즘은 감사 추적, 해석가능성, 프라이버시 보장 ML를 통해 시스템 속성에 대한 증거를 제공한다.
• 하드웨어 메커니즘은 안전한 하드웨어, 정밀한 컴퓨트 측정, 검증을 위한 연구 지원을 통해 더 큰 확신을 제공한다.
• 산업계, 학계, 정부 간 협력—다중 이해관계자 생태계—가 이러한 메커니즘을 확장하는 데 필수적이다.
• 이 보고서는 실행 가능한 권고안과 원칙에서 검증 가능하고 시험 가능한 AI 개발 주장으로의 전환 경로를 강조한다.