[논문 리뷰] Explaining AI as an Exploratory Process: The Peircean Abduction Model

Robert R. Hoffman, William J. Clancey외 1명|arXiv (Cornell University)|2020. 09. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 8

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI)을 단일 단계 추론이 아닌 탐색적이고 반복적인 과정으로 재정의하기 위해 페어스의 추론 모델을 제안한다. 찰스 샌더스 페어스의 추론을 탐색적이고 가설 생성 과정으로 본다는 점에서 영감을 얻어, 추론의 가설 생성과 개선을 모델링함으로써 일부 XAI 시스템이 성공하는 이유를 설명하는 이론적 프레임워크를 제공하며, 학습 가능하고 투명한 추론 과정을 지원하는 시스템을 설계하기 위한 원칙을 제시한다.

ABSTRACT

Current discussions of "Explainable AI" (XAI) do not much consider the role of abduction in explanatory reasoning (see Mueller, et al., 2018). It might be worthwhile to pursue this, to develop intelligent systems that allow for the observation and analysis of abductive reasoning and the assessment of abductive reasoning as a learnable skill. Abductive inference has been defined in many ways. For example, it has been defined as the achievement of insight. Most often abduction is taken as a single, punctuated act of syllogistic reasoning, like making a deductive or inductive inference from given premises. In contrast, the originator of the concept of abduction---the American scientist/philosopher Charles Sanders Peirce---regarded abduction as an exploratory activity. In this regard, Peirce's insights about reasoning align with conclusions from modern psychological research. Since abduction is often defined as "inferring the best explanation," the challenge of implementing abductive reasoning and the challenge of automating the explanation process are closely linked. We explore these linkages in this report. This analysis provides a theoretical framework for understanding what the XAI researchers are already doing, it explains why some XAI projects are succeeding (or might succeed), and it leads to design advice.

연구 동기 및 목표

• 현재 XAI 연구에서 추론을 동적이고 탐색적인 사고 과정으로 간주하지 않는 격차를 보완하기 위해.
• 설명 가능한 인공지능을 정적인 설명 생성이 아닌, 가설 형성과 평가의 지속적인 과정으로 재정의하기 위해.
• AI 설명 메커니즘을 페어스의 철학적 관점인 창의적이고 반복적인 탐구 과정으로서의 추론과 일치시키기 위해.
• 관찰 가능하고 분석 가능하며 학습 가능한 추론 과정을 지원하는 AI 시스템 설계를 위한 이론적 및 실용적 지침을 제공하기 위해.
• 일부 XAI 프로젝트가 성공하는 이유를 설명하기 위해 설계에 추론적 탐구의 존재를 연결하기 위해.

제안 방법

• 단일 시간 추론이 아닌 탐색적이고 가설 생성 과정으로서 찰스 샌더스 페어스의 추론 개념을 채택하기 위해.
• 기존 XAI 시스템을 추론적 사고의 관점에서 분석하여 성공과 실패의 패턴을 식별하기 위해.
• 인간의 사고 과정과 관련된 심리학적 연구를 활용해 페어스의 모델이 자연스러운 인지 과정과 일치함을 검증하기 위해.
• 추론적 사고를 설명 생성과 시스템 학습의 핵심으로 위치시키는 이론적 프레임워크를 제시하기 위해.
• 추적 가능하고 반복적인 가설 테스트 및 개선을 지원하는 AI 시스템을 위한 설계 원칙을 제안하기 위해.
• 추론에서 '최선의 설명' 개념을 반복적인 탐색과 피드백을 통한 AI 결정 평가와 연결하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 AI 설명에서 추론을 단일 단계 추론이 아닌 탐색적 과정으로 재정의할 수 있는가?
• RQ2 어떤 XAI 시스템이 이해하기 쉬운 설명을 생성하는 데 성공하는가? 그리고 추론적 사고는 이러한 성공에 어떻게 기여하는가?
• RQ3 AI 시스템에서 추론적 사고를 학습 가능하고 반복적인 인지 과정으로 간주할 때 도출되는 설계 원칙은 무엇인가?
• RQ4 페어스의 추론을 탐구로 본 시각이 현대 심리학적 연구에서 인간의 사고 방식에 대한 발견과 어떻게 일치하는가?
• RQ5 가설 생성과 개선은 투명하고 해석 가능한 AI 결정을 만드는 데 어떤 역할을 하는가?

주요 결과

• 논문은 추론을 탐색적 과정으로 본다면 인간과 AI 시스템이 설명을 어떻게 생성하는지에 대해 더 정확하고 역동적인 모델을 제공함을 입증한다.
• 현재 성공한 XAI 시스템은 반복적인 가설 생성과 평가를 포함하고 있기 때문에, 페어스의 추론 탐구 모델과 일치함을 보여준다.
• 추론적 사고는 단일 시간의 추론이 아니라 학습 가능하고 반복적인 과정으로서 설명을 생성하고 테스트하는 것으로, 투명성과 해석 가능성에 기여한다.
• 페어스의 철학적 모델과 현대 심리학적 연구 간의 일치는 이 모델이 AI 설명 설계에 관련성이 있음을 검증한다.
• 탐색적 추론 중심으로 설계된 시스템은 사용자가 추론 과정을 관찰하고 분석하며 학습할 수 있게 해, 신뢰도와 사용성을 향상시킨다.
• 이론적 프레임워크는 설명 생성에서 과정이 제품보다 중요함을 강조함으로써 일부 XAI 프로젝트가 성공하는 이유를 설명한다.