[논문 리뷰] The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations

Vinitra Swamy, Jibril Frej외 1명|arXiv (Cornell University)|2023. 07. 01.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 인간 중심의 설명 가능 AI(XAI)가 사후 설명을 넘어서 내재된 해석 가능성 구조를 가진 신경망 아키텍처로 나아가야 한다고 주장한다. 본문에서는 조건부 계산 기반의 적응형 특성군 기반 아키텍처인 InterpretCC와 지식 그래프를 활용한 반복적 모델 진단을 위한 I2MD라는 두 가지 프레임워크를 제안하여, 설계 시부터 실시간, 정확하고 실행 가능한, 인간이 이해할 수 있으며 일관된 설명을 보장한다.

ABSTRACT

Explainable Artificial Intelligence (XAI) plays a crucial role in enabling human understanding and trust in deep learning systems. As models get larger, more ubiquitous, and pervasive in aspects of daily life, explainability is necessary to minimize adverse effects of model mistakes. Unfortunately, current approaches in human-centric XAI (e.g. predictive tasks in healthcare, education, or personalized ads) tend to rely on a single post-hoc explainer, whereas recent work has identified systematic disagreement between post-hoc explainers when applied to the same instances of underlying black-box models. In this paper, we therefore present a call for action to address the limitations of current state-of-the-art explainers. We propose a shift from post-hoc explainability to designing interpretable neural network architectures. We identify five needs of human-centric XAI (real-time, accurate, actionable, human-interpretable, and consistent) and propose two schemes for interpretable-by-design neural network workflows (adaptive routing with InterpretCC and temporal diagnostics with I2MD). We postulate that the future of human-centric XAI is neither in explaining black-boxes nor in reverting to traditional, interpretable models, but in neural networks that are intrinsically interpretable.

연구 동기 및 목표

• 현재 인간 중심 AI 응용 분야에서 사후 설명기법의 한계를 해결하기 위해, 설명이 종종 일관되지 않거나 충실도가 떨어지거나 실행 가능하지 않은 경우가 많다는 점을 다루기 위해.
• 인간 중심 XAI의 다섯 핵심 요구사항을 규명하기 위해: 실시간 성능, 신뢰도를 동반한 정확성, 실행 가능성, 인간 해석 가능성, 일관성.
• 블랙박스 모델을 설명하는 것에서부터 처음부터 내재적으로 해석 가능한 신경망을 설계하는 패러다임 전환을 주장하기 위해.
• 성능을 희생시키지 않고도 구현 가능한 워크플로우인 InterpretCC와 I2MD를 제안하여, 성능을 희생시키지 않고도 모델 개발 라이프사이클 전반에 해석 가능성을 통합하기 위해.

제안 방법

• InterpretCC는 희소성 정규화를 통한 적응형 라우팅을 사용하여 입력에 따라 최소한이면서 의미 있는 특성군을 동적으로 선택하고, 입력 기반의 결정에 따라 전문 하위망으로 라우팅한다.
• 이 방법은 모델 결정을 오직 일부 특성 또는 특성군에 국한시킴으로써 해석 가능성을 강제함으로써, 설명이 실제 모델 행동을 반영함을 보장한다.
• InterpretCC는 사용자 정의 가능한 희소성 기준을 지원하여 쉬운 샘플에 대해서는 높은 해석 가능성을 확보하고, 복잡한 샘플에 대해서는 정확성을 유지한다.
• I2MD는 훈련 중 모델 스냅샷에서 지식 그래프를 추출하여 반복적인 진단을 수행함으로써, 훈련 단계 간 비교를 통해 모델 발전 과정을 추적하고 잠재적인 약점들을 식별한다.
• 진단 기준 평가 지표를 활용하여 표적 데이터 증강 및 미세조정을 유도함으로써, 해석 가능성과 모델 향상 간의 피드백 루프를 달성한다.
• 두 프레임워크 모두 기존 딥러닝 워크플로우에 원활하게 통합되며, 표준 모델 추론 외에 추가적인 추론 비용이 없도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 사후 설명기법은 인간 중심 XAI의 다섯 핵심 요구사항—실시간, 신뢰도를 동반한 정확성, 실행 가능성, 인간 해석 가능성, 일관성—을 신뢰성 있게 충족시킬 수 있는가?
• RQ2 현재의 사후 설명기법이 체계적인 불일치와 모델 행동에 대한 충실도 부족으로 인해 실제 모델 행동을 제대로 반영하지 못하는 정도는 어느 정도인가?
• RQ3 성능을 훼손하거나 정확성과의 트레이드오프 없이도 딥러닝 모델에서 해석 가능성을 보장할 수 있는가?
• RQ4 지식 그래프를 활용한 반복적 모델 진단은 시간이 지남에 따라 모델 개발 과정에 대한 투명하고 실행 가능한 통찰을 제공할 수 있는가?
• RQ5 어떤 설계 원칙이 고성능 응용 분야에서 최첨단 성능을 유지하면서도 신경망을 본질적으로 해석 가능하게 만들 수 있는가?

주요 결과

• 사후 설명기법은 체계적인 불일치와 모델 행동에 대한 충실도 부족으로 인해 본질적으로 신뢰할 수 없다. 동일한 블랙박스 모델과 입력에 대해서도 다양한 방법 간에 일관성 없이 작동한다.
• InterpretCC는 선택된 특성군에만 모델 결정을 제한함으로써 설명의 100% 충실도를 보장한다. 이는 설명이 실제 모델 행동을 반영함을 보장한다.
• InterpretCC의 적응형 라우팅 메커니즘은 입력 기반의 동적 특성 선택을 가능하게 하여 정확도를 희생시키지 않고도 해석 가능성을 향상시킨다.
• I2MD는 반복 훈련 스냅샷에서 추출한 지식 그래프를 비교함으로써 개발자가 모델 능력의 변화를 시간 경과에 따라 추적할 수 있게 하며, 언제 어떤 능력이 나타나는지 밝혀낸다.
• 훈련 루프에 진단 기준 평가 지표를 통합함으로써 표적 데이터 커리레이션과 더 빠른 수렴이 가능해져, 훈련 초기 단계에서부터 모델 성능을 향상시킬 수 있다.
• 제안된 프레임워크인 InterpretCC와 I2MD는 모두 인간 중심 XAI의 다섯 가지 핵심 요구사항—실시간, 신뢰도를 동반한 정확성, 실행 가능성, 인간 해석 가능성, 일관성—을 충족시킨다.