[논문 리뷰] Explanation in Human-AI Systems: A Literature Meta-Review, Synopsis of Key Ideas and Publications, and Bibliography for Explainable AI

Shane T. Mueller, Robert R. Hoffman외 3명|arXiv (Cornell University)|2019. 02. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 218

한 줄 요약

인간-AI 시스템에서 무엇이 좋은 설명을 구성하는가를 정의하고, 역사적 및 이론적 기초를 조사하며, 모범적인 연구를 강조하고 더 완전한 실증 보고를 촉구하는 통합 문헌 고찰.

ABSTRACT

This is an integrative review that address the question, "What makes for a good explanation?" with reference to AI systems. Pertinent literatures are vast. Thus, this review is necessarily selective. That said, most of the key concepts and issues are expressed in this Report. The Report encapsulates the history of computer science efforts to create systems that explain and instruct (intelligent tutoring systems and expert systems). The Report expresses the explainability issues and challenges in modern AI, and presents capsule views of the leading psychological theories of explanation. Certain articles stand out by virtue of their particular relevance to XAI, and their methods, results, and key points are highlighted. It is recommended that AI/XAI researchers be encouraged to include in their research reports fuller details on their empirical or experimental methods, in the fashion of experimental psychology research reports: details on Participants, Instructions, Procedures, Tasks, Dependent Variables (operational definitions of the measures and metrics), Independent Variables (conditions), and Control Conditions.

연구 동기 및 목표

• 질문에 답하기: 인간-AI 시스템에서 좋은 설명은 무엇인가?
• 설명 가능하고 가르치기적인 AI를 만들기 위한 컴퓨터 과학의 역사적 노력(예: 튜터링 시스템 및 전문가 시스템)을 요약한다.
• XAI에 관련된 주요 심리학 이론의 캡슐적 관점을 제시한다.
• 관련성, 방법, 결과 및 핵심 요점이 돋보이는 논문을 강조한다.
• AI 설명 가능성 연구의 실증 연구 보고 관행을 제안한다. 실험 심리학에 비유하여.

제안 방법

• 통합적 문헌 메타리뷰를 수행한다.
• 주요 아이디어와 출판물을 설명의 캡슐적 관점으로 종합한다.
• XAI에 강한 관련이 있는 선별적 논문을 강조하고 방법과 결과를 요약한다.
• 설명 가능한 AI를 위한 참고 문헌 및 논문 목록을 제공한다.
• 실험심리학에 상응하는 경험적/실험 방법 보고를 철저히 옹호한다(참여자, 절차, 변수, 통제).

실험 결과

연구 질문

• RQ1 인간-AI 시스템에서 무엇이 좋은 설명을 구성하는가?
• RQ2 XAI에 정보를 제공하는 역사적 및 이론적 기초는 무엇인가(예: 튜터링 시스템, 전문가 시스템, 심리학 이론)?
• RQ3 어떤 논문이 AI의 설명 가능성에 가장 관련성 높은 방법과 결과를 제공하는가?
• RQ4 XAI 실증 연구를 위한 권장 보고 표준은 무엇인가?

주요 결과

• 이 보고서는 지능형 튜터링 및 전문가 시스템을 포함하여 설명하고 지시하는 시스템을 만들기 위한 CS 노력의 역사를 통합한다.
• 현대 AI에서의 설명 가능성 이슈와 도전을 명확히 한다.
• XAI에 관련된 주요 심리학 이론의 캡슐적 관점을 제시한다.
• 방법론적 관련성과 주요 결과로 특정 논문을 강조한다.
• 연구자들이 AI 설명 가능성 연구에서 상세한 실험 방법과 운용 정의를 포함할 것을 권고한다.