[논문 리뷰] On Feature Relevance Uncertainty: A Monte Carlo Dropout Sampling Approach

Kai Fabi, Jonas Schneider|arXiv (Cornell University)|2020. 08. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 5

한 줄 요약

이 논문은 신경망 내에서 특성별 중요도 불확실성을 추정하기 위해 몬테카를로 드롭아웃 샘플링을 사용하는 몬테카를로 유사 중요도 전파(MCRP)를 제안한다. 약간의 특성 중요도 분포를 계산함으로써 MCRP는 어떤 특성이 중요한지뿐 아니라 네트워크가 그 중요도에 대해 얼마나 확신하는지까지 드러내어, 점추정 기반 설명 방법에 비해 훨씬 더 깊이 있는 해석 가능성을 제공한다.

ABSTRACT

Understanding decisions made by neural networks is key for the deployment of intelligent systems in real world applications. However, the opaque decision making process of these systems is a disadvantage where interpretability is essential. Many feature-based explanation techniques have been introduced over the last few years in the field of machine learning to better understand decisions made by neural networks and have become an important component to verify their reasoning capabilities. However, existing methods do not allow statements to be made about the uncertainty regarding a feature's relevance for the prediction. In this paper, we introduce Monte Carlo Relevance Propagation (MCRP) for feature relevance uncertainty estimation. A simple but powerful method based on Monte Carlo estimation of the feature relevance distribution to compute feature relevance uncertainty scores that allow a deeper understanding of a neural network's perception and reasoning.

연구 동기 및 목표

• 기존 신경망을 위한 특성 기반 설명 방법에서의 불확실성 추정 부족 문제를 해결하기 위해.
• 예측뿐만 아니라 개별 입력 특성의 중요도에 대한 신뢰도를 모델이 표현할 수 있도록 하기 위해.
• 자율주행 및 의료 영상과 같은 안전이 중요한 분야에서 딥러닝 모델의 해석 가능성과 신뢰성을 향상시키기 위해.
• LRP, Grad-CAM, DeepLIFT와 같은 기존 설명 기법을 확장할 수 있는 일반화 가능하고 비지도 기반의 프레임워크를 제공하기 위해.
• 모델 훈련 모니터링 및 모델 간 신뢰성 비교를 위해 새로운 평가 지표인 특성 중요도 불확실성 제공하기 위해.

제안 방법

• 스티스틱 드롭아웃을 적용한 다중 전방 전파를 통해 몬테카를로 드롭아웃 샘플링을 사용하여 특성 중요도 점수의 분포를 생성한다.
• 각 드롭아웃 샘플에서 계층별 중요도 전파(LRP)를 적용하여 개별 특성의 중요도 점수를 계산한다.
• 다중 전방 전파에 걸친 중요도 점수를 집계하여 특성 중요도 분포의 평균과 분산을 추정한다.
• 중요도 분포의 표준편차로 불확실성 점수를 계산하여 모델이 특성 중요도에 대해 얼마나 확신하는지 반영한다.
• 입력 레벨과 히든 레이어 모두에서 특성 중요도 불확실성 추정을 지원하여 다양한 추상화 수준에서 분석이 가능하다.
• 아키텍처에 종속되지 않으며, 네트워크의 계산 그래프에 의존하는 모든 설명 방법에 적용 가능하다.

실험 결과

연구 질문

• RQ1 몬테카를로 샘플링을 통해 특성 중요도 불확실성을 원칙적이고 계산적으로 실현 가능한 방식으로 추정할 수 있는가?
• RQ2 특성 중요도 불확실성은 모델의 신뢰도와 예측 신뢰성과 어떻게 상관관계가 있는가?
• RQ3 MCRP는 주목할 만한 특성에서 높은 불확실성을 식별함으로써 모델 결정의 과도한 확신을 탐지할 수 있는가?
• RQ4 표준 LRP에 비해 특성 중요도의 불확실성을 드러내어, MCRP가 해석 가능성에 기여하는가?
• RQ5 특성 중요도 불확실성은 모델 훈련 및 검증 중 새로운 평가 지표로 사용될 수 있는가?

주요 결과

• MCRP는 드롭아웃을 사용한 다중 전방 전파 샘플링을 통해 특성 중요도 불확실성을 성공적으로 추정하며, 중요도 점수의 분포 추정이 가능해진다.
• 동물 이미지에서 머리나 얼굴과 같은 특성은 높은 중요도와 낮은 불확실성을 보이며, 네트워크가 분류적 특성에 대해 확신을 가짐을 나타낸다.
• 팔이나 다리와 같은 신체 부위는 더 높은 불확실성을 보이며, 이는 그들의 낮은 분류적 구분력과 더불어 분류에 대한 모호성 반영한다.
• 이 방법은 네트워크가 종종 단순하고 국소적인 특성(예: 얼굴)에 의존함을 드러내며, 이는 최소한의 신호에 과적합될 수 있음을 시사한다.
• 높은 예측 신뢰도와 함께 높은 특성 중요도 불확실성은 안전이 중요한 시스템에서 잠재적인 과도한 확신을 나타내는 중요한 경고 신호이다.
• 특성 중요도 불확실성은 모델 간 비교 및 훈련 진행 상황 모니터링을 위한 새로운 평가 지표로 활용될 수 있으며, 모델가 성숙함에 따라 불확실성이 감소함을 확인할 수 있다.