[논문 리뷰] Explaining Predictions by Approximating the Local Decision Boundary

Georgios Vlassopoulos, Tim van Erven외 2명|arXiv (Cornell University)|2020. 06. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 39인용 수 6

한 줄 요약

이 논문은 이진 분류기 예측을 설명하기 위해 학습된 잠재 공간을 사용하여 국소 결정 경계를 근사하는 모델에 종속되지 않는 방법인 국소 결정 경계 근사(이하 DBA)를 제안한다. 이 방법은 의미 있는 거리 측정을 위한 변동형 오토인코더와 속성 인식 잠재 표현을 결합하여 사용자가 지정한 해석 가능한 설명을 가능하게 하며, 이미지 및 테이블 데이터에서 기존 방법들을 능가하는 성능을 보인다.

ABSTRACT

Constructing accurate model-agnostic explanations for opaque machine learning models remains a challenging task. Classification models for high-dimensional data, like images, are often inherently complex. To reduce this complexity, individual predictions may be explained locally, either in terms of a simpler local surrogate model or by communicating how the predictions contrast with those of another class. However, existing approaches still fall short in the following ways: a) they measure locality using a (Euclidean) metric that is not meaningful for non-linear high-dimensional data; or b) they do not attempt to explain the decision boundary, which is the most relevant characteristic of classifiers that are optimized for classification accuracy; or c) they do not give the user any freedom in specifying attributes that are meaningful to them. We address these issues in a new procedure for local decision boundary approximation (DBA). To construct a meaningful metric, we train a variational autoencoder to learn a Euclidean latent space of encoded data representations. We impose interpretability by exploiting attribute annotations to map the latent space to attributes that are meaningful to the user. A difficulty in evaluating explainability approaches is the lack of a ground truth. We address this by introducing a new benchmark data set with artificially generated Iris images, and showing that we can recover the latent attributes that locally determine the class. We further evaluate our approach on tabular data and on the CelebA image data set.

연구 동기 및 목표

• 이미지와 같은 고차원 데이터에 대해 국소성의 의미 있는 측정이 어려운 기존 국소 설명 방법의 한계를 해결하기 위해.
• 예측 확률 추정치가 아니라 결정 경계에 초점을 맞춰 설명의 정확성과 해석 가능성 향상을 위해.
• 사용자가 도메인 특화 이해에 맞게 설명에 사용할 속성을 제어할 수 있도록 하여.
• 분류를 결정짓는 잠재 속성을 회복하는 데 평가할 수 있도록 인위적인 아이ris 이미지를 포함한 벤치마크를 개발하기 위해.

제안 방법

• 고차원 데이터로부터 분리되고 유클리드 기반의 잠재 공간을 학습하는 조건부 변동형 오토인코더(CVAE)를 훈련하여 국소 거리 측정에 의미 있는 기준을 제공한다.
• 속성 주석을 사용하여 잠재 공간을 사용자가 지정한 해석 가능한 속성으로 매핑함으로써 설명의 관련성을 향상시킨다.
• 주어진 입력에 가장 가까운 결정 경계 상의 점을 찾아 잠재 공간에서 그 주변에 점들을 샘플링하여 국소 결정 경계를 근사한다.
• 샘플링된 점들에 선형 대체 모델을 피팅하여 기여도 기반 특성 기여도를 식별하고, 계수는 국소 설명 가중치로 해석한다.
• 잠재 속성 복구 및 설명의 정확도 평가를 위해 인위적으로 생성된 아이리스 이미지를 포함한 새로운 벤치마크를 도입한다.
• CELEB-A 및 테이블 데이터에 이 방법을 적용하여 LIME-Att 및 CEM-MAF와의 정량적·정성적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 학습된 잠재 공간이 이미지와 같은 고차원 데이터에서 유클리드 거리보다 더 의미 있는 국소성 측정 기준을 제공할 수 있는가?
• RQ2 확률 추정치가 아니라 결정 경계에 초점을 맞추는 것이 국소 설명의 정확성과 해석 가능성 향상에 기여하는가?
• RQ3 사용자가 지정한 속성들이 효과적으로 학습되어 맥락에 맞는 설명을 생성하는 데 사용될 수 있는가?
• RQ4 통제된 합성 데이터에서 분류를 결정짓는 진짜 잠재 속성을 어느 정도 회복할 수 있는가?
• RQ5 이미지 및 테이블 데이터셋에서 DBA는 LIME-Att 및 CEM-MAF에 비해 설명 품질과 강건성 측면에서 어떻게 비교되는가?

주요 결과

• DBA 방법은 인위적으로 생성된 아이리스 이미지에 사용된 진짜 잠재 속성을 성공적으로 복구하여 통제된 환경에서 정확한 속성 복구 능력을 입증한다.
• CELEB-A 데이터셋에서 DBA-Att는 사용자가 지정한 속성과 일치하는 설명을 생성한다. 특히, 잠재 공간의 방향 변화가 예상되는 얼굴 속성 전환을 유도하는 시각화 결과를 통해 이를 확인할 수 있다.
• VAE에서 높은 품질의 재구성을 달성하였으며, 재구성된 이미지가 원본 입력의 분류 확률에 매우 가까운 특성을 유지한다.
• DBA-Att는 LIME-Att 및 CEM-MAF보다 최소한의 변화로 결정 경계를 넘는 의미 있는 변형을 더 잘 생성한다.
• CNN 분류기는 CELEB-A에서 테스트 정확도 91.5%를 달성하였고, DBA-Att는 잠재 공간에서 최소한의 해석 가능한 변형을 통해 예측을 성공적으로 설명하였다.
• 잠재 공간 보간을 통한 시각화를 통해 주어진 입력에서 결정 경계로의 부드러운 전이 과정을 확인하였으며, 이는 최소한의 관련 변화를 찾는 데서의 방법의 능력을 확인한다.