[논문 리뷰] Deep Argumentative Explanations

Emanuele Albini, Piyawat Lertvittayakumjorn외 2명|arXiv (Cornell University)|2020. 12. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 20인용 수 4

한 줄 요약

이 논문은 신경망의 내부 구조를 반영하는 계층적이고 해석 가능한 설명을 생성하기 위해 계산적 논증을 활용하는 새로운 프레임워크인 딥 어在里面티브 응답(DAXs)을 소개한다. DAXs는 뉴런과 그 상호작용을 지지/공격 관계를 가진 논증으로 모델링함으로써 높은 정확도, 낮은 계산 비용, 기존의 LIME 및 SHAP보다 뛰어난 이해 가능성과 인간 판단과의 일치도를 달성한다. 특히 모델의 추론 과정에 대한 신뢰도 향상과 통찰력 제공에 뛰어나다.

ABSTRACT

Despite the recent, widespread focus on eXplainable AI (XAI), explanations computed by XAI methods tend to provide little insight into the functioning of Neural Networks (NNs). We propose a novel framework for obtaining (local) explanations from NNs while providing transparency about their inner workings, and show how to deploy it for various neural architectures and tasks. We refer to our novel explanations collectively as Deep Argumentative eXplanations (DAXs in short), given that they reflect the deep structure of the underlying NNs and that they are defined in terms of notions from computational argumentation, a form of symbolic AI offering useful reasoning abstractions for explanation. We evaluate DAXs empirically showing that they exhibit deep fidelity and low computational cost. We also conduct human experiments indicating that DAXs are comprehensible to humans and align with their judgement, while also being competitive, in terms of user acceptance, with some existing approaches to XAI that also have an argumentative spirit.

연구 동기 및 목표

• 기존의 XAI 방법들이 입력-출력 영향에만 집중하여 내부 추론 구조를 드러내지 못하는 투명성 부족 문제를 해결하기 위해.
• 신경망의 구성 요소를 지지/공격 관계를 가진 논증으로 모델링하여 상징적 AI(계산적 논증)와 딥 러닝을 융합하기 위해.
• 단순한 특성 중요도가 아닌, 깊이 있고 계층적인 추론을 반영하는 설명을 생성하는 프레임워크를 개발하기 위해.
• DAXs의 정확도, 효율성, 인간 이해 가능성에 대해 실증적 평가를 수행하고, LIME 및 SHAP과 같은 기존 XAI 방법과 비교하기 위해.
• DAXs가 인간 판단과 일치하며, 평평한 설명보다 더 통찰력 있고 신뢰할 수 있다는 것을 검증하기 위해.

제안 방법

• DAXs 는 훈련된 신경망에서 일반화된 논증 프레임워크(GAF)를 추출하여 생성되며, 여기서 뉴런 또는 뉴런 그룹이 논증으로 간주된다.
• 지지 및 공격 관계인 대화적 관계는 활성화 패tern과 관련성 전파(LRP) 기반으로 정의된다 (예: LRP 사용).
• 논증의 대화적 강도는 정량적 측정치(예: LRP 점수)로부터 유도되며, 이는 모델 행동과 일치하고 핵심 대화적 성질을 충족시킨다.
• 프레임워크는 사용자 인지적 필요에 맞게 파rameter χ를 통해 대화형 및 구조적 형식을 포함한 다양한 설명 형식을 지원한다.
• 세 가지 DAX 인스턴스가 다양한 아키텍처(CNN 등 텍스트용)에서 구현되었으며, 각기 다른 GAF와 기반 모델 출력에서 유도된 의미론을 사용한다.
• 자동화된 메트릭(딥 정확도, 복잡도)과 인간 연구를 통한 이해 가능성, 일치도, 신뢰도 평가를 통해 설명을 평가한다.

실험 결과

연구 질문

• RQ1 DAXs 는 신경망의 깊은 내부 구조를 반영하여 모델 추론에 대해 높은 정확도를 보장하는가?
• RQ2 DAXs 는 rich하고 계층적인 설명을 제공하면서도 낮은 계산 복잡도를 유지하는가?
• RQ3 DAXs 내에서 중간 단계의 논증과 예측 클래스 간의 지지 관계가 인간 판단과 일치하는가?
• RQ4 DAXs 내에서 개별 단어와 중간 단계 논증 간의 지지 관계가 인간 판단과 일치하는가?
• RQ5 사용자 연구에서 DAXs 는 LIME 및 SHAP보다 더 큰 신뢰도를 유도하고 더 나은 통찰을 제공하는가?

주요 결과

• DAXs 는 깊이 있는 정확도를 보이며, 내부 논증적 구조가 기반 신경망의 추론 과정을 정확히 반영함을 의미한다.
• DAXs 는 낮은 계산 복잡도를 보이며, 다양한 신경망 아키텍처에 효율적으로 구현 가능하다.
• RQ4에서 참가자 96.0% ± 0.4%가 n-gram이 지지하는 클래스를 정확히 선택하여 중간 단계 논증 지지에 대한 인간 판단과의 일치를 확인했다.
• RQ5에서 참가자 85.0% ± 0.7%가 가장 강력한 지지 또는 공격 단어를 정확히 식별하여 DAX 지지 관계의 의미론적 타당성을 검증했다.
• DAXs 는 CNN의 내부 기능에 대한 통찰력 제공에서 LIME 및 SHAP을 유의미하게 뛰어넘었다(p < 0.004 및 p < 0.006).
• DAXs 는 SHAP보다 유의미하게 더 큰 신뢰도를 유도했으며(p < 0.002), LIME에 비해 유의미한 신뢰도 우위는 아니었으며(p = 0.32), 이는 참가자의 전문 수준 때문일 가능성이 높다.