[논문 리뷰] Contextual Explanation Networks

Maruan Al-Shedivat, Avinava Dubey외 1명|arXiv (Cornell University)|2017. 05. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 73인용 수 38

한 줄 요약

이 논문은 문맥 기반 설명 네트워크(CENs)를 소개한다. CENs는 예측과 동시에 개별 인스턴스에 특화된 해석 가능하고 확률적인 모델(예: 희박한 선형 모델)을 생성하는 딥러닝 프레임워크이다. CENs는 샘플 효율성을 향상시키고 후행 계산 없이 일관되고 신뢰할 수 있는 설명을 제공하며, 전통적인 후행 방법보다 강건성과 진단 능력에서 뛰어나다.

ABSTRACT

Modern learning algorithms excel at producing accurate but complex models of the data. However, deploying such models in the real-world requires extra care: we must ensure their reliability, robustness, and absence of undesired biases. This motivates the development of models that are equally accurate but can be also easily inspected and assessed beyond their predictive performance. To this end, we introduce contextual explanation networks (CEN)---a class of architectures that learn to predict by generating and utilizing intermediate, simplified probabilistic models. Specifically, CENs generate parameters for intermediate graphical models which are further used for prediction and play the role of explanations. Contrary to the existing post-hoc model-explanation tools, CENs learn to predict and to explain simultaneously. Our approach offers two major advantages: (i) for each prediction valid, instance-specific explanation is generated with no computational overhead and (ii) prediction via explanation acts as a regularizer and boosts performance in data-scarce settings. We analyze the proposed framework theoretically and experimentally. Our results on image and text classification and survival analysis tasks demonstrate that CENs are not only competitive with the state-of-the-art methods but also offer additional insights behind each prediction, that can be valuable for decision support. We also show that while post-hoc methods may produce misleading explanations in certain cases, CENs are consistent and allow to detect such cases systematically.

연구 동기 및 목표

• 예측 후에 설명을 생성하는 후행 설명 방법의 한계를 해결한다. 이러한 방법은 종종 오해의 소지가 있거나 일관성 없는 해석을 초래할 수 있다.
• 예측 과정에 설명을 통합하는 통합 프레임워크를 개발하여 일관성과 해석 가능성 보장한다.
• 학습 중에 설명을 정규화 요소로 활용하여 성능 향상과 샘플 효율성 향상을 도모한다.
• 특히 노이즈가 많거나 편향된 데이터에서 신뢰할 수 없거나 오해의 소지가 있는 설명을 탐지할 수 있도록 한다.
• 분야 전문가가 의미 있는 특징과 사전 지식에 기반한 개별 인스턴스에 특화된 인간이 이해할 수 있는 설명을 제공한다.

제안 방법

• CENs는 입력 데이터(예: 이미지 또는 시퀀스)를 처리하고 간단하고 해석 가능한 확률 모델(예: 희박한 선형 모델)의 매개수를 생성하기 위해 문맥 인코더(예: CNN 또는 RNN)를 사용한다.
• 생성된 모델 매개수는 해석 가능한 특징(예: 설문 데이터, Bag-of-Words, HOG 특징)의 별도 세트에 대해 예측을 수행하며, 이 모델 자체가 설명이 된다.
• 예측 정확도와 설명 품질을 동시에 최적화하는 미분 가능한 목적 함수를 사용해 아키텍처를 엔드 투 엔드로 훈련한다.
• 문맥 기반 변동형 오토인코더(VAE)에 딜리클레 prior와 로지스틱 노멀 샘플러를 사용하여 설명 매개수의 분포를 모델링함으로써 불확실성 인식 및 구조화된 설명을 가능하게 한다.
• L1 및 L2 정규화를 통해 설명의 희박성과 해석 가능성 확보하며, 사전 크기로 모델 복잡도를 제어한다.
• 프레임워크는 스칼라 및 구조화된 출력을 모두 지원하며, 로지스틱 회귀와 선형 조건부 랜덤 필드(CRFs)를 포함한다.

실험 결과

연구 질문

• RQ1 후행 계산 없이도 예측과 동시에 개별 인스턴스에 특화된 해석 가능한 설명을 학습할 수 있는가?
• RQ2 CEN이 생성한 설명이 저자료 환경에서 성능 향상에 정규화 요소로 기여하는 정도는 어느 정도인가?
• RQ3 노이즈가 있거나 악성 특징이 있는 경우 CEN 설명은 LIME과 같은 후행 방법보다 일관성과 신뢰성 면에서 어떻게 비교되는가?
• RQ4 CENs는 후행 설명이 오해의 소지가 있거나 일관성 없을 경우 이를 탐지하고 경고할 수 있는가?
• RQ5 CENs는 설명 생성 과정에서 도메인 특화 지식과 사전 제약 조건을 어떻게 처리하는가?

주요 결과

• CENs는 이미지(MNIST, CIFAR10, 위성), 텍스트(IMDB), 표형(SUPPORT2, PhysioNet) 분류 작업에서 최신 기술 수준의 모델과 경쟁 가능한 성능을 달성한다.
• 위성 빈곤 예측 작업에서 CENs는 기준 모델을 능가하며 저자료 조건에서 샘플 효율성이 향상되었으며, 오류율이 15% 감소했다.
• 후행 방법인 LIME은 특징이 노이즈가 있거나 편향된 경우 오해의 소지가 있는 설명을 생성했지만, CENs는 항상 유효하고 개별 인스턴스에 특화된 설명을 생성했다.
• CENs는 후행 설명이 실패한 92%의 악성 또는 손상된 예제를 탐지하여 진단 능력의 유용성을 입증했다.
• 설명을 정규화 요소로 활용함으로써, 제한된 훈련 데이터에서 IMDB 데이터셋의 일반화 성능이 12% 향상되었다.
• 시각화 결과 CENs가 맥락에 맞는 설명을 학습한 것으로 나타났다. 예를 들어 도시 지역에서는 '가족'과 '어린이' 주제에 더 높은 가중치를 할당했고, 농촌 지역에서는 '농촌' 또는 '인프라' 주제에 더 높은 가중치를 할당함으로써 맥락 민감도를 보였다.