[논문 리뷰] The Twin-System Approach as One Generic Solution for XAI: An Overview of ANN-CBR Twins for Explaining Deep Learning

Mark T. Keane, Eoin M. Kenny|arXiv (Cornell University)|2019. 05. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 9

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI)을 위한 일반적인 솔루션으로 ANN-CBR 쌍시스템 접근법을 제안한다. 여기서 블랙박스 딥러닝 모델(ANN)은 설명 가능한 케이스기반추론(CBR) 시스템이 백색박스 대체자로 기능하도록 쌍으로 연결된다. CBR를 활용해 유사한 과거 사례를 통해 ANN의 결정을 설명함으로써, 성능을 희생시키지 않은 채 모델의 투명성을 향상시키며, 딥러닝에서 XAI를 위한 확장 가능한 프레임워크를 제공한다.

ABSTRACT

The notion of twin systems is proposed to address the eXplainable AI (XAI) problem, where an uninterpretable black-box system is mapped to a white-box 'twin' that is more interpretable. In this short paper, we overview very recent work that advances a generic solution to the XAI problem, the so called twin system approach. The most popular twinning in the literature is that between an Artificial Neural Networks (ANN ) as a black box and Case Based Reasoning (CBR) system as a white-box, where the latter acts as an interpretable proxy for the former. We outline how recent work reviving this idea has applied it to deep learning methods. Furthermore, we detail the many fruitful directions in which this work may be taken; such as, determining the most (i) accurate feature-weighting methods to be used, (ii) appropriate deployments for explanatory cases, (iii) useful cases of explanatory value to users.

연구 동기 및 목표

• 딥러닝 모델의 해석 가능성을 보장하기 위한 일반적이고 재사용 가능한 프레임워크를 개발하는 것.
• 블랙박스 ANN과 설명 가능한 CBR 시스템을 쌍으로 조합하여 설명 기능을 제공하는 아키텍처를 개발하는 것.
• 유사한 과거 사례를 검색하고 설명함으로써 사용자가 AI 결정을 이해하고 신뢰할 수 있도록 하는 것.
• 실제 응용 분야에서 설명용 사례의 효과적인 특성 가중치 방법과 구현 전략을 규명하는 것.
• XAI 시스템에서 설명의 가치를 체계적으로 평가할 수 있는 기반을 마련하는 것.

제안 방법

• 쌍시스템 접근법은 블랙박스 시스템으로서의 심층 신경망(ANN)을 백색박스 동반자로 기능하는 케이스기반추론(CBR) 시스템으로 매핑한다.
• CBR 시스템은 유사한 과거 사례를 검색하고, 사례 유사도 측정법과 특성 가중치를 활용해 설명한다.
• 특성 가중치는 사례 검색에서 가장 관련성이 높은 속성을 강조함으로써 설명의 정확성 향상에 기여한다.
• CBR 시스템은 유사한 이력 사례에서의 추론 경로를 추적함으로써 사후 설명을 생성한다.
• 이 방법은 ANN의 내부 구조에 의존하지 않아 다양한 딥러닝 모델에 적용 가능하다.
• 새로운 고영향도 결정을 사례 기반에 추가함으로써 동적 적응이 가능해져 향후 설명의 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 설명 가능한 동반 시스템을 활용해 블랙박스 딥러닝 모델을 효과적으로 설명할 수 있는가?
• RQ2 어떤 특성 가중치 전략이 CBR 기반 설명의 정확성과 관련성 최적화에 가장 효과적인가?
• RQ3 어떤 유형의 사례가 최종 사용자에게 가장 유용한 설명 가치를 제공하는가?
• RQ4 쌍시스템 접근법은 실세계 AI 응용 분야에서 어떻게 효과적으로 구현될 수 있는가?
• RQ5 사례 기반의 품질과 다양성은 설명의 신뢰성과 사용자 신뢰에 어떤 영향을 미치는가?

주요 결과

• ANN-CBR 쌍시스템은 원본 네트워크를 수정하지 않고도 딥러닝 모델을 설명하기 위한 일반적이고 모듈화된 프레임워크를 제공한다.
• 케이스기반추론은 과거 유사 결정을 검색하고 설명함으로써 높은 해석 가능성을 제공하며, 사용자 신뢰를 향상시킨다.
• 효과적인 특성 가중치는 검색된 설명용 사례의 관련성과 정확성을 크게 향상시킨다.
• 분리된 설명 로직 덕분에 다양한 딥러닝 응용 분야로의 확장 가능한 구현이 가능하다.
• 블랙박스 모델의 아키텍처를 변경하지 않고도 사후 설명이 가능하다.
• 초기 결과는 CBR 동반자가 성능을 유지하면서도 높은 설명 정밀도를 달성할 수 있음을 시사한다.