[논문 리뷰] Have We Learned to Explain?: How Interpretability Methods Can Learn to Encode Predictions in their Interpretations

Neil Jethani, Mukund Sudarshan외 2명|arXiv (Cornell University)|2021. 03. 02.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 진정한 데이터 생성 분포를 근사함으로써 예측 인코딩을 피하고, 실제 데이터 생성 분포에 기반한 최소한의 고정밀도 특징 부분집합을 학습하는 암시적 설명 방법인 REAL-x를 소개한다. 예측 인코딩을 탐지하기 위해 EVAL-X를 제안하며, 흉부 X-ray 데이터에서의 정량적 평가와 영상의학 전문의 평가 모두에서 기존 방법보다 REAL-x가 뛰어난 성능을 보임을 보여준다.

ABSTRACT

While the need for interpretable machine learning has been established, many common approaches are slow, lack fidelity, or hard to evaluate. Amortized explanation methods reduce the cost of providing interpretations by learning a global selector model that returns feature importances for a single instance of data. The selector model is trained to optimize the fidelity of the interpretations, as evaluated by a predictor model for the target. Popular methods learn the selector and predictor model in concert, which we show allows predictions to be encoded within interpretations. We introduce EVAL-X as a method to quantitatively evaluate interpretations and REAL-X as an amortized explanation method, which learn a predictor model that approximates the true data generating distribution given any subset of the input. We show EVAL-X can detect when predictions are encoded in interpretations and show the advantages of REAL-X through quantitative and radiologist evaluation.

연구 동기 및 목표

• 암시적 설명 방법(AEM)에서 예측이 특징 해석에 뜻하지 않게 통합되는 문제를 해결하기 위해.
• 예측이 포함되어 있는지 여부를 탐지하는 해석 평가 방법을 개발하기 위해.
• 진정한 데이터 생성 분포를 기반으로 하여 최소한의 특징 부분집합을 최대화하는 AEM인 REAL-x를 제안하기 위해.
• 정량적 평가와 의료 영상 데이터에서의 전문가 평가를 통해 해석 가능성의 정밀도와 임상적 관련성을 향상시키기 위해.
• AEM에서 선택기 모델과 예측기 모델을 함께 훈련할 경우 분포의 이탈로 인해 잘못된 해석이 유도될 수 있음을 보여주기 위해.

제안 방법

• EVAL-X는 목표 변수의 진정한 데이터 생성 분포를 어떤 입력 특징 부분집합에 대해 근사하는 모델을 훈련시켜 해석을 평가하는 방법으로 도입된다.
• REAL-x는 추정된 진정한 분포 하에서 높은 가능도를 가지는 최소한의 특징 부분집합을 식별하기 위해 글로벌 선택기 모델을 학습하는 암시적 설명 방법이다.
• REAL-x의 선택기 모델은 선택된 특징 부분집합에 기반한 목표 변수의 가능도를 최대화하도록 훈련되어, 진정한 데이터 생성 과정에 대한 정밀도를 보장한다.
• 모델은 각 인스턴스당 단일 순방향 전파를 사용하므로 빠른 추론이 가능하며, 진정한 조건부 분포를 모델링함으로써 분포 외 입력을 피한다.
• REAL-x의 예측기 모델은 마스크된 입력에서의 모델 예측에 의존하는 대신, 어떤 특징 부분집합 S에 대해 진정한 조건부 분포 P(y|S)를 근사하도록 훈련된다.
• 하이퍼파rameter는 전체 특징 모델의 정확도를 최소 95% 유지하면서 특징 수를 최소화하도록 튜닝된다.

실험 결과

연구 질문

• RQ1 암시적 설명 방법에서 생성된 해석에 예측이 인코딩되어 있는지 탐지할 수 있는가?
• RQ2 L2X와 Invase와 같은 공동 암시적 설명 방법(JAMs)이 특징 선택에서 진정한 특징 중요도를 반영하기보다 예측을 인코딩하고 있는가?
• RQ3 진정한 데이터 생성 분포에서 학습함으로써 예측 인코딩을 피할 수 있는 설명 방법을 설계할 수 있는가?
• RQ4 REAL-x의 해석 정밀도는 정량적 평가와 임상 평가 모두에서 기존 방법과 비교해 어떻게 되는가?
• RQ5 의료진은 REAL-x의 해석이 L2X, Invase 또는 BASE-x의 해석보다 더 임상적으로 의미 있는 것으로 평가하는가?

주요 결과

• EVAL-X는 분포 외 입력이나 모델 아티팩트에 의존하는지 평가함으로써 해석에 예측이 인코딩되어 있는지 성공적으로 탐지한다.
• REAL-x는 흉부 X-ray 데이터에서 75.0%의 정확도를 달성하여 기준 방법과 동일하거나 이를 초월하면서도 더 적은 특징을 사용한다.
• 사후 평가에서 REAL-x는 e-acc 70.3%와 e-auroc 0.777을 기록하여 L2X(54.0% e-acc)와 Invase(52.3% e-acc)를 크게 앞서나간다.
• 의료진은 REAL-x를 가장 임상적으로 의미 있는 방법으로 평가하였으며, 평균 순위 1.08을 기록하여 L2X(3.57)와 Invase(2.85)보다 유의미하게 높았다.
• MNIST에서는 L2X가 단일 특징 픽셀을 선택하여 96.0%의 정확도를 달성함으로써 이진 특징 선택을 통해 예측이 인코딩될 수 있음을 보여준다.
• 본 연구는 JAM에서의 공동 훈련이 예측기 모델이 선택기 모델에 맞춰 공진화하게 되어, 진정한 특징 중요도를 반영하지 못하는 오해의 해석을 초래할 수 있음을 보여준다.