[논문 리뷰] Explaining Neural Networks Semantically and Quantitatively

Runjin Chen, Hao Chen외 3명|arXiv (Cornell University)|2018. 12. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 5

한 줄 요약

이 논문은 사전에 정의된 시각적 개념들로부터 기여도를 분해함으로써 합성곱 신경망(CNN)의 예측 점수를 의미론적이고 정량적으로 설명할 수 있는 해석 가능한 덧셈형 설명자 네트워크를 훈련시켜 지식 정복 기법을 제안한다. 이 방법은 사전 손실을 통해 편향 해석 문제를 줄이고, 기준 정복 방법보다 더 정확하고 의미론적으로 유의미하며 정량적으로 정밀한 설명을 달성한다.

ABSTRACT

This paper presents a method to explain the knowledge encoded in a convolutional neural network (CNN) quantitatively and semantically. The analysis of the specific rationale of each prediction made by the CNN presents a key issue of understanding neural networks, but it is also of significant practical values in certain applications. In this study, we propose to distill knowledge from the CNN into an explainable additive model, so that we can use the explainable model to provide a quantitative explanation for the CNN prediction. We analyze the typical bias-interpreting problem of the explainable model and develop prior losses to guide the learning of the explainable additive model. Experimental results have demonstrated the effectiveness of our method.

연구 동기 및 목표

• 질적 또는 픽셀 수준의 설명을 넘어서 의미론적 명확성과 정량적 정밀도를 모두 확보하여 CNN 예측을 설명하는 데 도전하는 것.
• 원본 CNN의 성능이나 분류 능력을 훼손하지 않으면서 각 예측의 근거를 설명하는 방법을 개발하는 것.
• 해석자가 관련 없거나 지배적인 시각적 개념에 잘못 예측을 기여도를 할당하는 편향 해석 문제를 체계적인 사전 손실을 통해 완화하는 것.
• 최종 예측 점수에 어떤 의미론적 개념이 얼마나 기여하는지 드러내어 CNN의 문제적 특징 표현을 진단할 수 있도록 하는 것.
• CelebA와 같은 실제 벤치마크를 사용하여 다양한 CNN 아키텍처와 작업에 널리 적용 가능한지를 보여주는 것.

제안 방법

• 사전에 훈련된 시각적 개념 검출기로부터의 값 성분으로 예측 점수를 분해하는 덧셈 모델로 해석 가능한 별도의 설명자 네트워크를 훈련한다.
• 입력 이미지의 진짜 레이블을 사용하지 않고, 성능 네트워크의 출력 점수를 모방하도록 설명자 네트워크를 지식 정복 기법으로 훈련한다.
• 시각적 개념의 통계적 성질(예: 빈도, 상관관계)을 바탕으로 한 사전 손실을 통합하여 설명자를 이끌고 기여도에 대한 편향을 줄인다.
• 성능 네트워크의 첫 번째 완전 연결층의 특징을 설명자에 대한 공통 입력 특징으로 사용하여 일관된 표현 학습을 가능하게 한다.
• 훈련 중 성능 네트워크와 설명자 간의 예측 점수 차이를 최소화하기 위해 L-2 노름 손실을 적용한다.
• 각 개념의 기여도를 합산하는 방식으로 설명자를 설계함으로써 최종 결정에 있어 각 개념의 역할을 정량적으로 해석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 표본 레이블이 없는 조건에서, 애초에 정의된 시각적 개념을 기반으로 의미론적으로 유의미하고 정량적으로 정밀한 설명을 개별 CNN 예측에 대해 생성할 수 있는가?
• RQ2 다음과 같은 편향 해석 문제를 어떻게 줄일 수 있는가: 설명자가 지배적이거나 허구적인 시각적 개념에 잘못 예측을 기여도를 할당하는 경우?
• RQ3 성능 네트워크가 잘못된 예측을 할 경우, 설명자 모델이 의미론적 개념의 진짜 기여도를 얼마나 잘 복원할 수 있는가?
• RQ4 선택된 시각적 개념의 수가 설명자의 설명 능력과 정밀도에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 원본 모델의 성능을 떨어뜨리지 않고 다양한 CNN 아키텍처와 작업에 넓게 적용 가능한가?

주요 결과

• 기준 정복 기반 방법과 비교해 볼 때, 제안된 방법은 시각적 개념 간의 기여도 분포가 더 균형 잡히고 현실적으로 되어 있음을 보여주며, 편향 해석 문제를 크게 줄였다.
• 특히 CNN이 허구적인 상관관계에 의존할 경우, 제안된 방법으로 생성된 설명은 기준 방법보다 인간의 진짜 해석과 더 잘 일치한다.
• 더 많은 시각적 개념을 사용할수록 설명 능력이 향상되며, 이는 성능 네트워크와 설명자 간의 상대적 편차가 유의미하게 감소하는 것으로 확인되었다.
• CNN의 결정이 잘못되었을 경우에도, 이 방법은 국소적인 얼굴 특징(예: '젊음', '남성', '강한 메이크업')의 기여도를 성공적으로 포착하고 정량화할 수 있었다.
• 설명자 모델은 인간의 일반 지식과 어긋나는 예측이 종종 몇 가지 지배적이거나 편향된 시각적 개념에 의해 이끌린다는 것을 드러내어 문제적 특징 표현을 진단할 수 있었다.
• 사전 손실을 사용함으로써 더 정보가 풍부하고 대표적인 설명이 가능해졌으며, 이는 분류 정확도와 상대적 편차 지표에서의 성능 향상으로 입증되었다.