[논문 리뷰] Explainable Artificial Intelligence (XAI): An Engineering Perspective

Fatima Hussain, Rasheed Hussain외 1명|arXiv (Cornell University)|2021. 01. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 41인용 수 40

한 줄 요약

이 논문은 XAI에 대한 공학 중심 관점을 주장하고, 설명 가능성, 해석 가능성, 투명성을 정의하며, 이해당사자 요구사항을 개괄하고, 자율주행차 활용 사례를 제시하여 설명 가능성이 어디에서 어떻게 적용되어야 하는지 보여준다.

ABSTRACT

The remarkable advancements in Deep Learning (DL) algorithms have fueled enthusiasm for using Artificial Intelligence (AI) technologies in almost every domain; however, the opaqueness of these algorithms put a question mark on their applications in safety-critical systems. In this regard, the `explainability' dimension is not only essential to both explain the inner workings of black-box algorithms, but it also adds accountability and transparency dimensions that are of prime importance for regulators, consumers, and service providers. eXplainable Artificial Intelligence (XAI) is the set of techniques and methods to convert the so-called black-box AI algorithms to white-box algorithms, where the results achieved by these algorithms and the variables, parameters, and steps taken by the algorithm to reach the obtained results, are transparent and explainable. To complement the existing literature on XAI, in this paper, we take an `engineering' approach to illustrate the concepts of XAI. We discuss the stakeholders in XAI and describe the mathematical contours of XAI from engineering perspective. Then we take the autonomous car as a use-case and discuss the applications of XAI for its different components such as object detection, perception, control, action decision, and so on. This work is an exploratory study to identify new avenues of research in the field of XAI.

연구 동기 및 목표

• XAI 개념(설명 가능성, 해석 가능성, 투명성)을 정의하고, 안전에 위협이 되는 AI에서의 그 중요성을 정당화한다.
• 다양한 사용자 집단에 대한 이해당사자와 설명 가능성 요구사항을 식별한다.
• XAI에 대한 공학적/수학적 관점을 제시하고, 자율주행차 활용 사례를 통해 인식, 객체 탐지, 제어에 걸친 예를 설명한다.

제안 방법

• XAI 시스템을 투명한(해석 가능한) 모델과 사후 설명 방법으로 분류한다.
• 모델의 알고리즘적 투명성, 분해 가능성, 시뮬러빌리티의 수준을 설명한다.
• 이해당사자별 설명 가능성 요구사항 및 역할 기반 설명 가능성 필요성을 논의한다.
• 자율주행차에서의 XAI를 위한 수학적 프레이밍을 제시하되, 객체 탐지와 이동 예측 경로를 포함한다.
• 기존 XAI 기법과 그것들이 공학적 관점에 어떻게 적용되는지 검토한다.

실험 결과

연구 질문

• RQ1 XAI의 이해당사자는 누구이며 그들의 설명 가능성 요구사항은 무엇인가?
• RQ2 자율주행차와 같은 안전-치명적 시스템에 대해 XAI를 공학적이고 수학적인 관점에서 어떻게 프레이밍할 수 있는가?
• RQ3 자율주행차의 어떤 구성요소가 XAI로부터 가장 큰 이점을 얻고 어떤 기법이 적합한가?
• RQ4 핵심 영역에서 현재의 XAI 실무와 공학적 요구 사이에 어떤 차이가 존재하는가?

주요 결과

• XAI는 설명 가능성, 해석 가능성, 투명성으로 구성되며, 투명성이 이를 포괄하는 지배적인 측면이다.
• 투명한 모델(예: 선형, 의사결정 트리, 베이지안 네트워크)은 알고리즘적 투명성, 분해 가능성, 시뮬러빌리티의 다양한 정도를 제공한다.
• 사후 설명 방법과 모델 유도는 블랙박스 모델에서 설명을 도출하는 데 사용할 수 있으며, 로컬 대 글로벌 충실도에 주의한다.
• 자율주행차 활용 사례는 XAI 고려가 인식, 객체 탐지, 위치추정, 이동 예측, 경로/의사결정에 걸쳐 있음을 보여준다.
• 수학적 관점은 자율주행차에서 XAI를 상호작용하는 에이전트 시스템과 미분방정식의 체계로 프레이밍하여 특정 구성요소의 동작과 설명을 모델링한다.