[논문 리뷰] Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims

Miles Brundage, Shahar Avin외 57명|arXiv (Cornell University)|2020. 04. 15.

Adversarial Robustness in Machine Learning참고 문헌 148인용 수 124

한 줄 요약

이 논문은 책임 가능하고 신뢰할 수 있는 진전을 돕기 위해 AI 개발에 대한 검증 가능한 주장들을 가능하게 하는 제도적, 소프트웨어적, 하드웨어적 메커니즘 도구함을 제안합니다. 이해관계자 간의 검증 가능성을 높이기 위한 권고사항과 워크숍 기반 프로세스를 개요로 제시합니다.

ABSTRACT

With the recent wave of progress in artificial intelligence (AI) has come a growing awareness of the large-scale impacts of AI systems, and recognition that existing regulations and norms in industry and academia are insufficient to ensure responsible AI development. In order for AI developers to earn trust from system users, customers, civil society, governments, and other stakeholders that they are building AI responsibly, they will need to make verifiable claims to which they can be held accountable. Those outside of a given organization also need effective means of scrutinizing such claims. This report suggests various steps that different stakeholders can take to improve the verifiability of claims made about AI systems and their associated development processes, with a focus on providing evidence about the safety, security, fairness, and privacy protection of AI systems. We analyze ten mechanisms for this purpose--spanning institutions, software, and hardware--and make recommendations aimed at implementing, exploring, or improving those mechanisms.

연구 동기 및 목표

• 사용자, 규제 당국, 개발자 간의 신뢰 격차를 해소하고 윤리 원칙을 보완하기 위해 AI에서 검증 가능한 주장 필요성을 제고한다.
• AI에서 검증 가능한 주장을 정의하고 검증의 장벽을 식별한다.
• AI 개발의 검증 가능성을 향상시키기 위한 제도적, 소프트웨어적, 하드웨어적 삼합의 메커니즘을 제안한다.
• 검증 가능한 주장 메커니즘을 구현하기 위한 실행 가능한 권고사항과 로드맵을 제시한다.

제안 방법

• 메커니즘을 서로 얽혀 있는 세 가지 축(제도적, 소프트웨어적, 하드웨어적)으로 구성하고 각 축이 서로 다른 검증 관점을 다룬다.
• 기존 메커니즘을 조사하고 안전성, 보안, 공정성, 프라이버시의 검증 가능성에서의 격차를 식별한다.
• 실질적인 권고사항을 제시한다(예: 제3자 감사, 레드 팀 훈련, 편향 및 안전 현상금, 사건 공유) 그리고 그 잠재적 영향력을 정당화한다.
• 권고사항을 검증 장벽을 겨냥하는 문제 중심의 프레이밍에 고정하여 검증 장벽을 겨냥한다.
• 맥락, 정의 및 보충 분석을 제공하기 위해 워크숍에서 도출된 통찰과 부록을 포함한다.

실험 결과

연구 질문

• RQ1 AI 시스템 및 개발 프로세스에 관한 주장들의 검증 가능성을 어떻게 개선할 수 있는가?
• RQ2 제도적, 소프트웨어적, 하드웨어적 메커니즘을 어떻게 조정하여 이해관계자 전반에 걸친 검증 가능한 책임성을 가능하게 할 수 있는가?
• RQ3 조직이 감사, 레드 팀팅, 사건 공유를 구현하여 신뢰를 강화하기 위해 취할 수 있는 구체적 단계는 무엇인가?
• RQ4 신뢰할 수 있는 AI 개발로 가는 경로로 검증 가능한 주장을 사용하는 데 있어 한계와 범위는 무엇인가?

주요 결과

• 제도, 소프트웨어, 하드웨어에 걸친 다양한 메커니즘 도구 모음은 AI 개발 주장의 검증 가능성을 높일 수 있다.
• 제3자 감사, 레드 팀 훈련, 편향 및 안전 현상금, AI 사건 공유가 핵심 제도적 메커니즘으로 제안된다.
• 감사 추적, 해석 가능성, 프라이버시 보존 ML은 시스템 주장을 입증하는 중요한 소프트웨어 메커니즘으로 강조된다.
• 보안 하드웨어, 고정밀 컴퓨트 측정, 학계를 위한 컴퓨트 지원은 프라이버시, 보안, 자원 사용 주장을 입증하기 위한 하드웨어 메커니즘으로 확인된다.
• 보고서는 검증 가능한 주장이 신뢰에 필요하지만 충분하진 않으며, 법률 및 거버넌스 구조와의 정렬이 필요하다고 강조한다.