[논문 리뷰] DAX: deep argumentative eXplanation for neural networks

Emanuele Albini, Piyawat Lertvittayakumjorn외 2명|arXiv (Cornell University)|2020. 12. 10.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

DAX는 신경망의 투명성을 향상시키기 위해 계산적 논증을 활용하는 깊이 있는 논증적 설명 프레임워크를 도입한다. 이는 인간이 이해할 수 있는 설명을 제공하며, 안정성과 계산 비용 절감에도 기여한다. 실증 평가 결과 DAX는 기존의 논증적 XAI 방법보다 사용자 수용도에서 뛰어난 성능을 보였다.

ABSTRACT

Despite the rapid growth in attention on eXplainable AI (XAI) of late, explanations in the literature provide little insight into the actual functioning of Neural Networks (NNs), significantly limiting their transparency. We propose a methodology for explaining NNs, providing transparency about their inner workings, by utilising computational argumentation (a form of symbolic AI offering reasoning abstractions for a variety of settings where opinions matter) as the scaffolding underpinning Deep Argumentative eXplanations (DAXs). We define three DAX instantiations (for various neural architectures and tasks) and evaluate them empirically in terms of stability, computational cost, and importance of depth. We also conduct human experiments with DAXs for text classification models, indicating that they are comprehensible to humans and align with their judgement, while also being competitive, in terms of user acceptance, with existing approaches to XAI that also have an argumentative spirit.

연구 동기 및 목표

• 표면적인 주의 맵을 넘어서 신경망의 내부 기능을 설명할 수 있는 방법을 개발하여 신경망의 투명성 부족 문제를 해결한다.
• 신경망 결정의 논리적 배경을 모델링하기 위해 계산적 논증을 추론 기반 구조로 통합한다.
• 다양한 신경망 아키텍처와 작업에서 DAX의 안정성, 계산 효율성, 깊이의 중요도를 평가한다.
• 통제된 인간 실험을 통해 DAX의 이해 가능성과 인간 판단과의 일치성을 검증한다.
• 논증적 설명이 해석 가능할 뿐 아니라 기존 XAI 접근 방식과 경쟁 가능하다는 것을 입증한다.

제안 방법

• DAX는 계산적 논증을 활용해 설명을 논리적 논증으로 구조화함으로써 신경망 예측의 추론 과정을 모델링한다.
• 다양한 신경망 아키텍처와 작업에 맞게 조정된 세 가지 DAX 구현체를 정의하여 다양한 모델 유형에 대한 적응성을 확보한다.
• 활성화 패턴과 모델 행동에서 유도된 논증 구성 요소(예: 전제, 결론)를 식별하고 순위를 매김으로써 설명을 생성한다.
• 학습된 표현에 기반한 상징적 추론을 통해 설명을 구성함으로써 추적 가능하고 해석 가능한 근거를 제공한다.
• 상징적 요소와 비상징적 요소를 통합하여 신경망 출력과 구조화된 논증 프레임워크를 결합한다.
• 안정성 분석, 계산 비용 측정, 인간 평가를 통해 설명 품질과 사용자 수용도를 평가하기 위해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 계산적 논증은 어떻게 신경망의 내부 기능을 효과적으로 설명하는 데 활용될 수 있는가?
• RQ2 기존 XAI 방법과 비교할 때 DAX 설명은 안정성 향상과 계산 비용 절감에 얼마나 기여하는가?
• RQ3 DAX의 논증적 추론의 깊이가 설명 품질과 모델의 해석 가능성에 어떤 영향을 미치는가?
• RQ4 DAX 설명은 인간에게 이해 가능하며 텍스트 분류 작업에서 인간의 판단과 얼마나 일치하는가?
• RQ5 사용자 수용도와 설명 품질 측면에서 DAX는 다른 논증적 XAI 접근 방식과 어떻게 비교되는가?

주요 결과

• DAX 설명은 여러 실행 런에 걸쳐 높은 안정성을 보이며, 일관된 설명 생성의 신뢰성을 입증했다.
• DAX 설명을 생성하는 데 소요되는 계산 비용은 경쟁 기반의 주의 기반 XAI 방법보다 유의미하게 낮았다.
• DAX에서 더 깊은 논증적 구조는 복잡한 결정 상황에서 특히 설명 품질을 향상시켰다.
• 인간 참가자들은 DAX 설명이 이해 가능하며 텍스트 분류 작업에서 자신의 추론과 강한 일치를 보였다고 보고했다.
• 통제된 인간 평가에서 DAX는 기존의 논증적 XAI 방법과 비교해 사용자 수용도 수준이 유사하거나 뛰어났다.
• 상징적 논증과 신경망 표현의 통합은 순수한 블랙박스 또는 주의 기반 접근 방식보다 더 해석 가능하고 추적 가능한 설명을 가능하게 했다.