[논문 리뷰] Trustworthy AI

Jeannette M. Wing|arXiv (Cornell University)|2020. 02. 14.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 신뢰할 수 있는 컴퓨팅의 원칙을 AI에 적용하여 AI의 취약성과 부당성 문제를 해결하기 위한 프레임워크를 제안한다. 신뢰할 수 있는 AI를 위해 정형 검증을 核심 방법으로 삼아 신뢰성, 공정성, 강건성을 확보하고자 하며, 정형 방법의 확장으로서의 신뢰할 수 있는 AI를 주장하며, AI 시스템의 검증 및 검증 분야에 새로운 연구 과제를 제기한다.

ABSTRACT

The promise of AI is huge. AI systems have already achieved good enough performance to be in our streets and in our homes. However, they can be brittle and unfair. For society to reap the benefits of AI systems, society needs to be able to trust them. Inspired by decades of progress in trustworthy computing, we suggest what trustworthy properties would be desired of AI systems. By enumerating a set of new research questions, we explore one approach--formal verification--for ensuring trust in AI. Trustworthy AI ups the ante on both trustworthy computing and formal methods.

연구 동기 및 목표

• AI 배포 과정에서 발생하는 체계적 위험을 해결하기 위해 신뢰할 수 있는 컴퓨팅의 원칙을 AI에 적응시켜 신뢰할 수 있는 AI의 기초를 마련하기 위해.
• 사회적 신뢰를 확보하기 위해 AI 시스템이 가져야 할 핵심적인 신뢰성, 공정성, 강건성 등의 신뢰할 수 있는 성질을 규명하기 위해.
• 다양한 조건 하에서 AI 시스템이 의도한 바에 따라 행동하도록 보장하기 위해 정형 검증을 핵심 방법론으로 프레임워크화하기 위해.
• 정형 방법과 AI의 교차점에서 발생하는 새로운 검증 과제를 정의하여 기존 소프트웨어를 초월한 검증 범위를 확장하기 위해.
• 신뢰할 수 있는 AI를 보다 중요한 발전으로 위치지어 정형 방법과 신뢰할 수 있는 컴퓨팅의 기준을 높이기 위해.

제안 방법

• 정확성, 가용성, 무결성 등의 정신적 원칙을 신뢰할 수 있는 컴퓨팅에서 AI 시스템의 맥락으로 적응시키기 위해.
• AI 모델과 시스템의 바람직한 성질을 수학적으로 증명할 수 있는 엄밀한 기법으로 정형 검증을 제안하기 위해.
• 에지 케이스, 대비 입력, 분포 이탈 상황에서의 행동을 검증하기 위해 정형 방법을 AI 개발 생애주기와 통합하기 위해.
• 추상화와 조합적 추론를 통해 신경망과 같은 학습 기반 컴포넌트를 다룰 수 있도록 정형 검증을 확장하기 위해.
• 공정성, 강건성, 설명 가능성 등의 요구사항을 정형 명세로 표현하여 머신 러닝 모델에 통합하기 위해.
• 복잡한 데이터 기반 시스템을 대상으로 하는 스케일러블 검증 기법에 초점을 맞춘 정형 방법과 AI 간의 연구 과제를 수립하기 위해.

실험 결과

연구 질문

• RQ1 사회적 신뢰를 확보하기 위해 AI 시스템에서 우선적으로 고려해야 할 신뢰할 수 있는 성질(예: 공정성, 강건성, 신뢰성)은 무엇인가?
• RQ2 딥 뉴럴 네트워크와 같은 학습 기반 AI 컴포넌트를 검증하기 위해 정형 검증은 어떻게 적응시켜야 하는가?
• RQ3 현대 AI 시스템에 내재된 비결정성과 데이터 의존성 처리를 위해 어떤 새로운 검증 기법이 필요한가?
• RQ4 정형 방법을 AI 개발 생애주기 전반에 통합하여 종단 간 신뢰성을 확보하기 위해선 어떻게 해야 하는가?
• RQ5 현재의 정형 검증 접근법이 AI에 적용되었을 때의 한계는 무엇이며, 이를 어떻게 극복할 수 있는가?

주요 결과

• 신뢰할 수 있는 AI를 구현하기 위해서는 일반화와 분포 이탈과 같은 학습 기반 시스템의 고유한 과제를 다룰 수 있도록 정형 검증 기법을 확장해야 한다.
• 정형 검증은 AI 행동에 수학적 보장을 제공함으로써 의료나 자율 주행 차량과 같은 안전이 중요한 응용 분야에서 신뢰도를 높일 수 있다.
• AI 개발에 정형 방법을 통합함으로써 스케일러비리티와 복잡한 모델에 대한 명세 작성과 같은 새로운 연구 과제가 발생한다.
• 신뢰할 수 있는 AI는 정형 방법과 신뢰할 수 있는 컴퓨팅의 기준을 모두 높이며, 이론적·실용적 새로운 발전이 요구된다.
• 공정성과 강건성과 같은 AI 성질을 효과적으로 표현할 수 있도록 전통적인 소프트웨어 명세로는 쉽게 포괄되지 않는 정형 명세 언어의 개발이 절실한 필요성이 드러났다.
• 이 프레임워크는 정형 검증을 후행 검증이 아닌, 신뢰할 수 있는 AI 시스템 설계의 기초적 구성 요소로 위치지어 제시한다.