[논문 리뷰] Visual Explanations for Convolutional Neural Networks via Input Resampling.

Benjamin J. Lengerich, Sandeep Konam외 3명|arXiv (Cornell University)|2017. 07. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 1인용 수 16

한 줄 요약

이 논문은 입력 재샘플링을 통해 내부 특징 표현을 분석함으로써 합성곱 신경망(CNN)을 해석하기 위한 프레임워크를 제안한다. 뉴런 활성화와 네트워크 출력 간의 상관관계를 측정하고, 변형된 입력에 대한 활성화 정밀도를 분석함으로써 예측에 영향을 미치는 뉴런과 일반화 가능한 특징을 감지하는 뉴런을 식별하며, 내부 주의 메커니즘에 대한 통찰을 제공한다.

ABSTRACT

The predictive power of neural networks often costs model interpretability. Several techniques have been developed for explaining model outputs in terms of input features; however, it is difficult to translate such interpretations into actionable insight. Here, we propose a framework to analyze predictions in terms of the model's internal features by inspecting information flow through the network. Given a trained network and a test image, we select neurons by two metrics, both measured over a set of images created by perturbations to the input image: (1) magnitude of the correlation between the neuron activation and the network output and (2) precision of the neuron activation. We show that the former metric selects neurons that exert large influence over the network output while the latter metric selects neurons that activate on generalizable features. By comparing the sets of neurons selected by these two metrics, our framework suggests a way to investigate the internal attention mechanisms of convolutional neural networks.

연구 동기 및 목표

• 입력 수준의 해석에만 의존하지 않고 내부 특징 표현을 분석함으로써 합성곱 신경망의 해석 가능성 향상.
• 입력 변형에 따른 출력 변화와의 상관관계를 통해 모델 예측에 상당한 영향을 미치는 뉴런 식별.
• 변형된 입력에서 활성화 정밀도를 사용하여 일반화 가능한 특징에 반응하는 뉴런 식별.
• 영향력과 일반화 메트릭을 기반으로 선택된 뉴런을 비교함으로써 내부 주의 메커니즘에 대한 실질적인 통찰 제공.

제안 방법

• 분석을 위해 입력 이미지를 변형하여 재샘플링된 입력 세트를 생성.
• 변형된 입력 간 뉴런 활성화와 네트워크 출력 간 상관관계를 측정하여 예측 영향력 평가.
• 뉴런 활성화의 정밀도—즉, 변형에 걸쳐 얼마나 일관되게 뉴런이 작동하는지—를 계산하여 일반화 가능한 특징 탐지자 식별.
• 높은 상관관계(영향력)와 높은 정밀도(일반화성)를 기반으로 뉴런을 선택하여 네트워크 내 역할 비교.
• 이러한 뉴런 집합 간의 교차 및 대비를 통해 내부 주의 메커니즘 추론.
• 이미지 분류 작업에 대해 훈련된 CNN에 프레임워크를 적용하여 특징 수준의 해석 가능성 분석.

실험 결과

연구 질문

• RQ1 CNN 내에서 최종 예측을 결정하는 데 가장 영향력이 큰 뉴런은 무엇인가요?
• RQ2 입력 변형에 걸쳐 일반화되는 특징에 반응하는 뉴런은 무엇인가요?
• RQ3 높은 예측 영향력을 지닌 뉴런과 일반화 가능한 특징을 감지하는 뉴런은 어떻게 다릅니까?
• RQ4 영향력과 정밀도 메트릭을 비교하면 내부 주의 메커니즘에 대한 통찰을 얻을 수 있나요?

주요 결과

• 활성화와 출력 간 상관관계가 높은 뉴런은 네트워크의 최종 예측을 형성하는 데 강력한 영향을 미친다.
• 변형된 입력에서 활성화 정밀도가 높은 뉴런은 입력 내 일반화 가능하고 강건한 특징에 더 자주 반응한다.
• 영향력 기반과 정밀도 기반 뉴런 집합 간의 겹침과 차이가 내부 주의가 특징 탐지자에 어떻게 분포되어 있는지 드러낸다.
• 이 프레임워크는 뉴런 활동이 예측 능력과 특징 일반화에 어떻게 연결되는지 링크함으로써 모델 행동에 대한 더 실질적인 해석을 가능하게 한다.