[논문 리뷰] Unsupervised Learning of Neural Networks to Explain Neural Networks

Quanshi Zhang, Yang Yu외 3명|arXiv (Cornell University)|2018. 05. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 43인용 수 17

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하지 않고도 사전 훈련된 CNN의 특징 맵을 해석 가능한 객체 부분 표현으로 분리하는 비지도 설명망을 제안한다. 지식 정복을 통해 설명망은 고층 특징을 재구성하면서도 각 필터가 단일 객체 부분을 나타내도록 강제하여 해석 가능성은 크게 향상된다. VGG 기반의 설명망에서 80% 이상의 특징 활성화가 해석 가능한 부분에서 유래되었으며, 정보 손실는 최소한으로 유지되었다.

ABSTRACT

This paper presents an unsupervised method to learn a neural network, namely an explainer, to interpret a pre-trained convolutional neural network (CNN), i.e., explaining knowledge representations hidden in middle conv-layers of the CNN. Given feature maps of a certain conv-layer of the CNN, the explainer performs like an auto-encoder, which first disentangles the feature maps into object-part features and then inverts object-part features back to features of higher conv-layers of the CNN. More specifically, the explainer contains interpretable conv-layers, where each filter disentangles the representation of a specific object part from chaotic input feature maps. As a paraphrase of CNN features, the disentangled representations of object parts help people understand the logic inside the CNN. We also learn the explainer to use object-part features to reconstruct features of higher CNN layers, in order to minimize loss of information during the feature disentanglement. More crucially, we learn the explainer via network distillation without using any annotations of sample labels, object parts, or textures for supervision. We have applied our method to different types of CNNs for evaluation, and explainers have significantly boosted the interpretability of CNN features.

연구 동기 및 목표

• 특히 혼란스럽고 직관적이지 않은 중간층 특징 맵으로 인해 깊이 있는 CNN의 해석 가능성 부족 문제를 해결한다.
• annotation에 의존하지 않고 사전 훈련된 CNN에서 인간이 이해할 수 있는 객체 부분 특징을 자동으로 식별하고 추출하는 방법을 개발한다.
• 보조 설명망을 통해 특징의 해석 가능성을 향상시키면서도 원본 CNN의 분류 성능을 유지한다.
• 사용자가 특정 예측에서 어떤 객체 부분이 인코딩되고 활성화되었는지 이해할 수 있도록 하여 모델 결정에 대한 신뢰를 높인다.
• 지식 정복을 통해 고층 특징을 재구성하도록 훈련시켜 특징 분리 과정에서의 정보 손실를 최소화한다.

제안 방법

• 사전 훈련된 CNN(퍼포머)에 부착된 경량 오토인코더로 설명망을 훈련시키며, 퍼포머의 아키텍처에 어떠한 변경도 가하지 않는다.
• 설명망의 인코더에서 해석 가능한 컨볼루션 필터를 사용하며, 각 필터가 단일 객체 부분을 나타내도록 새로운 필터 손실 함수로 제약을 걸어준다.
• 필터 손실을 적용하여 각 필터가 객체의 한정된 영역(예: 왼쪽 눈, 여러 번 반복되는 가장자리가 아닌)에서만 활성화되도록 유도하며, 텍스처 유사 패턴을 억제한다.
• 지식 정복을 통해 설명망을 훈련시며, 설명망의 복원된 특징과 퍼포머의 고층 특징 맵 간의 재구성 오차를 최소화한다.
• 수신 영역 시각화와 Grad-CAM을 활용해 해석 가능한 필터가 특정 의미 있는 객체 부분(예: 머리, 목, 흉부)에 집중하고 있음을 검증한다.
• 설명망에서 해석 가능한 특징이 분류 점수 기여도의 비율을 측정하기 위해 양적 지표인 p-value를 도입한다.

실험 결과

연구 질문

• RQ1 레이블 없이도 혼란스러운 중간층 특징 맵에서 인간이 이해할 수 있는 객체 부분 표현을 자동으로 발견하고 분리할 수 있는가?
• RQ2 비지도 설명망은 원본 CNN 특징 맵을 얼마나 잘 재구성할 수 있으며, 동시에 의미론적 해석 가능성을 유지할 수 있는가?
• RQ3 필터 손실 함수는 텍스처 유사 패턴이나 반복 패tern 대비 부분 특화된 특징을 어떻게 유도하는가?
• RQ4 해석 가능한 특징이 최종 분류 결정에 기여하는 비율은 얼마이며, 원본 CNN과 비교해 볼 때 어떤가?
• RQ5 설명망을 사용해 특정 예측에서 어떤 특정 객체 부분이 활성화되었는지 진단할 수 있는가? 이는 모델의 투명성을 향상시키는 데 기여하는가?

주요 결과

• VGG 기반의 설명망에서 특징 맵의 80% 이상의 활성화 점수가 해석 가능한 필터에서 기인하여 객체 부분의 강력한 분리가 이루어졌음을 시사한다.
• 설명망은 높은 재구성 정밀도를 달성했으며, 재구성된 특징에 대한 분류 정확도는 원본 퍼포머의 정확도와 1–4% 이내였고, 오차 증가(손실)는 오직 1–4%에 불과했다.
• 필터 손실은 Grad-CAM 주의 맵을 통해 각 필터가 머리, 목, 흉부와 같이 명확하고 의미 있는 영역에 집중함으로써 단일 객체 부분을 표현하도록 효과적으로 유도했다.
• 새로운 필터 수는 새의 머리, 목, 흉부에 대해 각각 58, 167, 243개로 설정되어, 구조적이고 부분 기반의 표현 학습 능력을 입증했다.
• 분류 손실을 사용해 훈련한 Explainer+cls 베이스라인은 원본 퍼포머를 초월하는 성능을 보였으며, 이는 설명망이 다른 목적함수로 훈련될 경우 원본 모델 성능을 초월할 수 있음을 시사한다.
• 수신 영역 시각화 결과 해석 가능한 필터는 국소화되고 일관된 수신 영역을 보이며 객체 부분과 정렬된 반면, 일반 필터는 흐릿하고 텍스처에 민감한 반응을 보였다.