[논문 리뷰] GAN-based Generation and Automatic Selection of Explanations for Neural Networks

Saumitra Mishra, Daniel Stoller외 3명|arXiv (Cornell University)|2019. 04. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 6

한 줄 요약

이 논문은 깊이 신경망의 활성화를 설명하기 위해 현실적이고 해석 가능한 입력을 생성하기 위한 GAN 기반 방법을 제안하며, 최적의 초모수를 자동으로 선택하기 위해 새로운 FID 기반 지표를 사용한다. 이 방법은 각 모델이나 레이어에 대해 재학습이 필요 없이 효율적이고 확장 가능한 설명 생성을 가능하게 하며, 노래하는 목소리 분류기에서 음성 및 비음성 음향 특성을 성공적으로 포착한다.

ABSTRACT

One way to interpret trained deep neural networks (DNNs) is by inspecting characteristics that neurons in the model respond to, such as by iteratively optimising the model input (e.g., an image) to maximally activate specific neurons. However, this requires a careful selection of hyper-parameters to generate interpretable examples for each neuron of interest, and current methods rely on a manual, qualitative evaluation of each setting, which is prohibitively slow. We introduce a new metric that uses Fréchet Inception Distance (FID) to encourage similarity between model activations for real and generated data. This provides an efficient way to evaluate a set of generated examples for each setting of hyper-parameters. We also propose a novel GAN-based method for generating explanations that enables an efficient search through the input space and imposes a strong prior favouring realistic outputs. We apply our approach to a classification model trained to predict whether a music audio recording contains singing voice. Our results suggest that this proposed metric successfully selects hyper-parameters leading to interpretable examples, avoiding the need for manual evaluation. Moreover, we see that examples synthesised to maximise or minimise the predicted probability of singing voice presence exhibit vocal or non-vocal characteristics, respectively, suggesting that our approach is able to generate suitable explanations for understanding concepts learned by a neural network.

연구 동기 및 목표

• 깊이 신경망 해석을 위한 활성화 최대화에서 수동적인 초모수 조정의 비효율성과 주관성을 해결하기 위해.
• 생성된 설명의 해석 가능성 평가를 위한 자동화되고 정량적인 지표를 개발하기 위해.
• 특정 뉴런을 최대한 활성화시키는 현실적이고 의미 있는 입력을 생성하기 위해 GAN을 강력한 사전 지식으로 활용하기 위해.
• 모델이나 레이어를 매번 재학습하지 않고도 확장 가능한 후행 해석을 가능하게 하기 위해.
• 실세계 음향 분류 작업에서 방법을 검증하여, 노래하는 목소리 존재성과 같은 의미적 개념을 포착할 수 있음을 입증하기 위해.

제안 방법

• 활성화 최대화의 사전 지식으로 사용할 수 있는 현실적인 입력 예시(예: 멜스펙트로그램)를 생성하기 위해 GAN 생성기가 훈련된다.
• 목표 뉴런 또는 레이어의 활성화를 최대화하면서도 학습된 사전 분포 하에서 높은 가능도를 유지하도록 생성기가 최적화된다.
• 실제 데이터와 생성된 데이터 분포를 비교하기 위해 프리셰트 인ception 거리(Fréchet Inception Distance, FID) 기반의 새로운 평가 지표가 사용되며, 이는 초모수 자동 선택을 가능하게 한다.
• 학습률 및 가중치 감쇠 등의 초모수는 FID 점수를 사용하여 해석 가능한 출력을 얻는 설정을 식별하도록 조정된다.
• 양성 및 음성 예시는 각각 출력 뉴런 활성화를 최대화하거나 최소화함으로써 생성되며, 이는 분류기가 학습한 개념을 탐색하기 위함이다.
• 사전 훈련된 노래하는 목소리 탐지 모델에 이 방법을 적용하고, 생성된 스펙트로그램의 정성적 분석을 통해 설명 가능성의 정도를 평가한다.

실험 결과

연구 질문

• RQ1 GAN 기반 생성기가 깊이 신경망 뉴런 활성화를 설명하기 위해 현실적이고 해석 가능한 입력을 효과적으로 생성할 수 있는가?
• RQ2 제안된 FID 기반 지표가 인간 평가 없이도 활성화 최대화의 초모수 설정을 신뢰성 있게 순위 매길 수 있는가?
• RQ3 이 방법은 분류기가 탐지하도록 학습된 의미적 개념(예: 노래하는 목소리)을 반영한 의미 있는 양성 및 음성 예시를 생성할 수 있는가?
• RQ4 수동으로 설정한 사전 지식 또는 오토인코더 기반 사전 지식과 비교했을 때, 학습된 GAN 사전 지식은 출력 품질과 해석 가능성 측면에서 어떻게 우월한가?
• RQ5 이 방법은 동일한 입력 도메인을 공유하는 다양한 모델에 대해 재학습 없이 얼마나 일반화 가능한가?

주요 결과

• FID 기반 지표는 다양하고 현실적이며 해석 가능한 예시를 생성한 최적의 초모수 설정(C₁)을 성공적으로 식별했으며, 시각적 품질과 활성화 일관성 측면에서 다른 설정보다 뛰어났다.
• 최적 설정(C₁)은 초기 GAN 출력에 최소한의 변화를 가하며, 현실성을 유지하면서도 뉴런 활성화를 효과적으로 증가시켰다. 이는 강력한 사전 지식 일치를 시사한다.
• 출력 뉴런 활성화를 최대화하여 생성된 양성 예시는 강한 조화 성분, 낮은 주파수 대역 에너지 감소, 그리고 줄어든 일시적 성분을 보였으며, 이는 일반적으로 노래하는 목소리의 특징이다.
• 활성화를 최소화하여 생성된 음성 예시는 베이스 에너지와 일시적 성분이 증가했으며, 이는 비음성, 악기 음향 유사한 음향을 성공적으로 생성했음을 나타낸다.
• 극단적인 설정에서는 목표 뉴런의 반응 값이 최대 78까지 도달했지만, 비현실적인 스펙트럼 에너지와 낮은 청각적 품질로 인해 효과적이지 않다고 판단되었다.
• 정성적 분석을 통해 생성된 예시가 분류기가 탐지하도록 학습된 의미적 개념과 일치하는 것으로 확인되었으며, 이는 방법이 의미 있는 표현을 포착하고 있음을 시사한다.