[논문 리뷰] Explaining a black-box using Deep Variational Information Bottleneck Approach

Seojin Bang, Pengtao Xie외 3명|arXiv (Cornell University)|2019. 02. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 13

한 줄 요약

이 논문은 블랙박스 모델의 결정에 대해 정보를 최대화하면서 중복을 최소화하는 핵심 인지 조각(예: 단어, 어구, 이미지 영역)을 선택하여 간결하면서도 종합적인 설명을 생성하는 시스템에 관계없고 사후 해석 가능한 기계 학습 방법인 VIBI를 제안한다. VIBI는 인간 평가와 피델리티 메트릭 모두에서 최신 기술을 능가하여 뛰어난 해석 가능성과 블랙박스 결정에 대한 충실한 근사치를 보여준다.

ABSTRACT

Interpretable machine learning has gained much attention recently. Briefness and comprehensiveness are necessary in order to provide a large amount of information concisely when explaining a black-box decision system. However, existing interpretable machine learning methods fail to consider briefness and comprehensiveness simultaneously, leading to redundant explanations. We propose the variational information bottleneck for interpretation, VIBI, a system-agnostic interpretable method that provides a brief but comprehensive explanation. VIBI adopts an information theoretic principle, information bottleneck principle, as a criterion for finding such explanations. For each instance, VIBI selects key features that are maximally compressed about an input (briefness), and informative about a decision made by a black-box system on that input (comprehensive). We evaluate VIBI on three datasets and compare with state-of-the-art interpretable machine learning methods in terms of both interpretability and fidelity evaluated by human and quantitative metrics

연구 동기 및 목표

• 기존의 해석 가능한 기계 학습 방법에서 동시에 간결성과 종합성의 부족을 해결하기 위해.
• 성능에 영향을 주지 않으면서도 어떤 블랙박스 모델에도 적용 가능한 시스템에 관계없고 사후 해석 프레임워크를 개발하기 위해.
• 정보 볼록 껍질 원리를 사용하여 '좋은' 설명을 정보 볼록 껍질 원리에 따라 정의하기 위해. 이는 출력에 대해 최대한 정보를 제공하면서도 입력에 대해 최대한 압축된 설명을 의미한다.
• 인지 조각 수준(예: 단어, 어구, 이미지 패치)에서 설명을 가능하게 하여 인간의 해석 가능성 향상을 위해.
• 해설기 네트워크와 근사화 네트워크를 분리하여 정확도를 높이고 구조적 제약을 피하기 위해.

제안 방법

• VIBI는 정보 볼록 껍질 목표의 변동 근사치를 사용하여 입력 특징을 압축하고 블랙박스 출력에 대한 정보를 유지하는 데 필요한 균형을 효율적으로 최적화할 수 있도록 한다.
• 해설기 네트워크는 인지 조각들에 대한 확률 분포를 출력하여 각 조각이 설명에 포함될 가능성을 나타낸다.
• 근사화 네트워크는 선택된 조각들만을 사용하여 블랙박스 모델의 행동을 모방함으로써 정확도 평가가 가능하다.
• 선택 메커니즘을 통해 역전파를 허용하기 위해 하드 선택 과정의 미분 가능 근사치(Gumbel-Softmax)를 사용한다.
• 하이퍼파rameter β는 압축성(낮은 β)과 정보성(높은 β) 사이의 균형을 조절하며, 실험에서는 β=0.1을 사용한다.
• 인지 조각은 의미적으로 유의미한 특징 그룹(예: 단어, 문장, 이미지 패치)으로 정의되며, 인간이 이해할 수 있는 설명을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정보 볼록 껍질과 같은 정보 이론 원리가 블랙박스 모델에 대해 간결하면서도 종합적인 설명을 효과적으로 생성하는 데 적용될 수 있는가?
• RQ2 제안된 VIBI 프레임워크는 인간의 해석 가능성과 모델의 피델리티 측면에서 최신 기술과 비교해 어떻게 성능을 내는가?
• RQ3 VIBI의 압축성 항목이 연속적 근사치에 의존하는 것과 비교해 설명을 통해 정보 흐름의 순도를 얼마나 향상시키는가?
• RQ4 사후적이고 시스템에 관계없는 방법이 블랙박스 모델의 아키텍처 수정 없이도 높은 정확도를 달성할 수 있는가?
• RQ5 원시 특징을 인지 조각으로 그룹화하면 설명의 이해 가능성과 정확도가 향상되는가?

주요 결과

• IMDB에서의 인간 평가에서, VIBI는 오직 다섯 개의 关건 단어만으로도 지표 결정과 44.7%의 일치도를 달성했으며, LIME(35.6%), L2X(33.8%), SHAP(35.6%)를 모두 능가했다.
• MNIST에서는 핵심 숫자 특징을 강조하는 데 평균 점수 3.526점(5점 만점)을 기록했으며, Saliency(3.448), LIME(1.369), L2X(1.936)를 모두 초월했다.
• VIBI는 근사화 정확도에서 뛰어난 성능을 보였으며, 4×4 패치와 10개의 조각을 사용할 때 MNIST에서 96.7%의 정확도를 기록했고, Saliency(95.7%), LIME(93.8%), SHAP(95.4%)를 모두 능가했다.
• 단일 상위-k 조각만을 사용하여 평가하는 리터럴 정확도에서, VIBI는 4×4 패치와 40개의 조각을 사용할 때 MNIST에서 91.5%를 기록했으며, L2X(81.1%)를 크게 능가했다. 이는 압축성 항목이 설명을 통해 정보 흐름의 순도를 향상시킨다는 것을 보여준다.
• 모든 설정에서 VIBI의 리터럴 정확도는 L2X보다 뚜렷하게 높았으며, 이는 압축 목표가 연속적 근사치에서 기인한 기울기 아티팩트에 의존하는 것을 방지한다는 것을 입증한다.
• VIBI의 성능은 다양한 조각 크기와 데이터셋에서 뛰어난 안정성을 보였으며, 최고의 결과는 β=0.1에서 달성되었으며, 이는 압축성과 정보성 사이의 효과적인 균형을 의미한다.