[논문 리뷰] Predictable Artificial Intelligence

Lexin Zhou, Pablo A. Moreno-Casares외 13명|arXiv (Cornell University)|2023. 10. 09.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 AI 시스템을 배포하기 이전에 핵심 유효성 지표(예: 성능, 안전성, 일치성)를 예측할 수 있도록 하는 새로운 연구 분야인 예측 가능한 인공지능(Predictable AI)을 소개한다. 예측 가능성을 핵심 원칙으로 정의하며, 순수한 성능보다 예측 가능성을 우선시하는 것이 AI 생태계의 신뢰성, 통제력 및 안전성 향상에 기여한다고 주장한다. 다양한 구성에서 신뢰할 수 있는 예측 가능한 AI 시스템을 구축하기 위한 프레임워크, 예측 변수, 그리고 상충 관계를 제시한다.

ABSTRACT

We introduce the fundamental ideas and challenges of Predictable AI, a nascent research area that explores the ways in which we can anticipate key validity indicators (e.g., performance, safety) of present and future AI ecosystems. We argue that achieving predictability is crucial for fostering trust, liability, control, alignment and safety of AI ecosystems, and thus should be prioritised over performance. We formally characterise predictability, explore its most relevant components, illustrate what can be predicted, describe alternative candidates for predictors, as well as the trade-offs between maximising validity and predictability. To illustrate these concepts, we bring an array of illustrative examples covering diverse ecosystem configurations. Predictable AI is related to other areas of technical and non-technical AI research, but have distinctive questions, hypotheses, techniques and challenges. This paper aims to elucidate them, calls for identifying paths towards a landscape of predictably valid AI systems and outlines the potential impact of this emergent field.

연구 동기 및 목표

• AI 개발에서 예측 가능성을 기초 원칙으로 확립하여 성능보다 우선시함으로써 장기적인 신뢰성과 안전성을 확보하기.
• AI 시스템에서의 예측 가능성을 공식적으로 정의하고, 그 핵심 구성요소와 유효성 지표를 특정하기.
• 다양한 생태계 구성에서 AI 시스템의 유효성과 예측 가능성을 동시에 극대화하는 데서 발생하는 상충 관계 탐색하기.
• 해석 가능성, 일치성 등 관련 분야와의 차이를 명확히 하여 예측 가능한 AI의 고유한 연구 질문과 방법론적 과제를 부각하기.
• 다양한 배포 환경에서 예측 가능하게 유효한 AI 시스템의 전경을 그려내고 향후 연구 방향을 제시하기.

제안 방법

• AI 시스템의 핵심 유효성 지표(예: 성능, 안전성)를 사전에 예측할 수 있는 능력으로서 예측 가능성을 공식적으로 기술하기.
• 미래 행동에 대한 예측을 뒷받침할 수 있는 후보 예측 변수(예: 모델 아키텍처, 훈련 데이터, 시스템 모니터링 메커니즘) 식별하기.
• 시스템 유효성 극대화와 예측 가능성 확보 사이의 상충 관계를 평가하기 위한 프레임워크 개발하기.
• 자율 시스템 및 의사결정 지원 도구 등 다양한 AI 생태계 구성에서의 실용적 예측 가능성을 입증하기 위해 사례 연구 활용하기.
• 거버넌스, 모니터링, 피드백 루프 등 기술적 요소와 비기술적 요소를 통합하여 예측 가능성 향상하기.
• 해석 가능성, 강건성, 일치성 등 관련 영역과의 차이를 명확히 하기 위해 독립적인 가설과 연구 질문 설정하기.

실험 결과

연구 질문

• RQ1 어떻게 AI 시스템에서 성능과 안전성을 포함한 예측 가능성을 공식적으로 정의하고 측정할 수 있는가?
• RQ2 복잡한 AI 생태계에서 핵심 유효성 지표를 예측하는 데 가장 효과적인 예측 변수는 무엇인가?
• RQ3 AI 시스템 유효성 극대화와 예측 가능성 확보 사이에 존재하는 상충 관계는 무엇인가?
• RQ4 예측 가능한 AI는 기존의 해석 가능성, 강건성, 일치성 연구 분야와 어떻게 다를 수 있는가?
• RQ5 다양한 구현 환경에서 예측 가능하게 유효한 AI 시스템을 설계하기 위해 필요한 체계적이고 아키텍처 수준의 설계 선택은 무엇인가?

주요 결과

• 예측 가능성은 성능보다 우선시되어야 하는 독립적이고 필수적인 AI의 차원이며, 장기적인 신뢰성과 안전성 확보에 기여한다.
• 예측 가능성을 공식화함으로써 AI 시스템의 향후 행동, 특히 위험 요소와 신뢰성에 대한 체계적 평가가 가능해진다.
• 훈련 데이터의 품질, 모델 아키텍처, 런타임 모니터링과 같은 예측 변수는 시스템 유효성 예측 능력을 크게 향상시킬 수 있다.
• 유효성과 예측 가능성 사이의 상충 관계는 본질적으로 존재하며, 이를 철저한 설계와 거버넌스를 통해 관리해야 한다.
• 예측 가능한 AI는 기존의 일치성 및 해석 가능성과는 독립적인 고유한 연구 영역을 제공하며, 이에 따른 고유한 과제, 기법, 가설을 수반한다.
• 사례 연구를 통해 자율 시스템 및 의사결정 지원 도구를 포함한 다양한 AI 생태계에서 예측 가능성이 실현 가능하다는 것이 입증되었다.