[논문 리뷰] What Does Explainable AI Really Mean? A New Conceptualization of Perspectives

Derek Doran, Sarah Schulz외 1명|arXiv (Cornell University)|2017. 10. 02.

Multimodal Machine Learning Applications참고 문헌 11인용 수 332

한 줄 요약

본 논문은 cross-field explainable AI의 세 가지 개념—opaque, interpretable, and comprehensible—를 식별하고, 설명을 위한 자동화된 추론을 통합한 네 번째이자 진정으로 설명 가능한 AI를 제안한다.

ABSTRACT

We characterize three notions of explainable AI that cut across research fields: opaque systems that offer no insight into its algo- rithmic mechanisms; interpretable systems where users can mathemat- ically analyze its algorithmic mechanisms; and comprehensible systems that emit symbols enabling user-driven explanations of how a conclusion is reached. The paper is motivated by a corpus analysis of NIPS, ACL, COGSCI, and ICCV/ECCV paper titles showing differences in how work on explainable AI is positioned in various fields. We close by introducing a fourth notion: truly explainable systems, where automated reasoning is central to output crafted explanations without requiring human post processing as final step of the generative process.

연구 동기 및 목표

• 고위험 상황에서의 AI 의사결정에 대한 설명의 필요성을 동기 부여한다.
• 코퍼스 데이터를 사용해 AI 하위 분야에서 설명 가능성이 어떻게 제시되는지 분석한다.
• 학제 간 적용 가능한 세 가지 설명 가능성 개념을 정의하고 구분한다.
• 설명을 위한 자동화된 추론을 통합한 네 번째 개념—진정으로 설명 가능한 AI—를 제안한다.

제안 방법

• 2007–2016년 사이에 ACL, NIPS, COGSCI, 및 ICCV/ECCV의 설명 가능성 용어에 대한 코퍼스 기반 분석을 수행한다.
• explain, interpret, and comprehensibility에 대한 부분 문자열 검색을 사용하여 설명 가능성 참조를 정량화한다.
• 단어 구름으로 맥락을 도식화하여 분야 간 의미 콘텐츠를 비교한다.
• 세 가지 설명 가능한 AI의 개념—opaque, interpretable, and comprehensible—를 정의하고 그 함의를 논의한다.
• 자동화된 추론을 기호 기반 설명과 통합하는 네 번째 개념—진정으로 설명 가능한 AI—를 주장한다.

실험 결과

연구 질문

• RQ1 문헌에서 식별된 교차 분야의 설명 가능한 AI 개념은 무엇인가?
• RQ2 다른 AI 커뮤니티(비전, NLP, 인지과학)는 설명 가능성 용어를 어떻게 구성하고 사용하는가?
• RQ3 opaque, interpretable, and comprehensible 시스템을 구분하는 요소는 무엇이며 언제 각각이 바람직한가?
• RQ4 진정으로 설명 가능한 AI를 달성하는 데 있어 자동화된 추론의 역할은 무엇인가?

주요 결과

• 설명 가능성 언어와 초점은 분야에 따라 다르다: COGSCI는 메커니즘(참여자, 과제, 효과)을 강조하고, NLP/비전은 데이터, 특징, 알고리즘에 초점을 맞춘다.
• 해석 가능한 모델은 출력에 대한 수학적 매핑을 드러내고, 이해 가능한 모델은 사용자가 주도하는 설명을 가능하게 하는 기호를 방출하며, 불투명한 모델은 메커니즘에 대한 통찰을 제공하지 않는다.
• 사후 설명을 넘어서 설명을 생성하기 위해 자동화된 추론을 사용하는 진정으로 설명 가능한 AI가 필요하다.
• 네 번째 개념—진정으로 설명 가능한 AI—은 신경-기호적 추론을 사용자 중심의 설명과 통합할 것을 요구한다.