[논문 리뷰] Explaining Deep Learning Models using Causal Inference

Tanmayee Narendra, Anush Sankaran외 2명|arXiv (Cornell University)|2018. 11. 11.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 28

한 줄 요약

이 논문은 구조적 인과 모델(Structural Causal Models, SCMs)을 사용하여 합성곱 신경망(Convolutional Neural Networks, CNNs)을 설명하는 인과 추론 프레임워크를 제안한다. 이 프레임워크는 반사적 간섭을 통해 필터 중요도를 정량적으로 순위 매김함으로써, 재학습 없이도 한 번의 인과 추상화를 통해 필터를 0으로 설정했을 때의 성능 변화를 예측한다. CIFAR-10에서 이 프레임워크는 SCM 예측의 정확도가 최대 92.4%에 이를 수 있다.

ABSTRACT

Although deep learning models have been successfully applied to a variety of tasks, due to the millions of parameters, they are becoming increasingly opaque and complex. In order to establish trust for their widespread commercial use, it is important to formalize a principled framework to reason over these models. In this work, we use ideas from causal inference to describe a general framework to reason over CNN models. Specifically, we build a Structural Causal Model (SCM) as an abstraction over a specific aspect of the CNN. We also formulate a method to quantitatively rank the filters of a convolution layer according to their counterfactual importance. We illustrate our approach with popular CNN architectures such as LeNet5, VGG19, and ResNet32.

연구 동기 및 목표

• 딥 러닝 모델의 투명성 부족 문제를 해결하기 위해, CNN 행동을 해석하기 위한 원칙적이고 인과적인 프레임워크를 제공한다.
• 기존의 시각화 기반 방법들이 모델 구성 요소에 대한 '만약 그렇다면?' 또는 반사적 질문에 답할 수 없는 한계를 극복한다.
• 간섭 후 재학습 없이도 CNN의 필터 중요도를 정량적으로 순위 매길 수 있도록 한다.
• 모델 정확도를 메트릭으로 사용하여 인과 추상화의 정확성을 검증함으로써 원래의 DNN의 행동과의 일치성을 확보한다.
• 재학습 없이도 모델 압축, 전이 학습, 하이퍼파rameter 예측 등에 프레임워크의 유용성을 입증한다.

제안 방법

• 합성곱 신경망의 필터 반응에 대해 구조적 인과 모델(SCM)을 구축하며, 특징 맵의 프로베니우스 노름을 충분 통계량으로 사용한다.
• 선형 회귀를 사용하여 SCM 내의 구조 방정식을 근사함으로써, 필터 반응과 모델 정확도 간의 관계를 모델링한다.
• 특정 필터의 프로베니우스 노름을 0으로 설정함으로써 반사적 간섭을 수행하고, 그로 인한 정확도 저하를 측정한다.
• 정확도 저하 정도에 따라 필터를 순위 매김함: 간섭 후 정확도가 낮을수록 필터 중요도가 높음.
• 원래 DNN에서 필터를 제거한 후 관측된 실제 정확도 저하와 비교하여 SCM의 예측 정확도를 검증한다.
• 이진 변환과 프로베니우스 노름 변환을 사용하여 다양한 추상화 수준을 탐색하며, 후자의 성능이 뛰어나 더 유리한 것으로 판단한다.

실험 결과

연구 질문

• RQ1 인과 추론을 어떻게 활용하여 CNN 내 개별 필터가 모델 예측에 미치는 영향을 설명할 수 있는가?
• RQ2 재학습 없이도 구조적 인과 모델(SCM)이 필터를 제거했을 때의 성능 저하를 정확하게 예측할 수 있는가?
• RQ3 VGG19, ResNet32, LeNet5와 같은 CNN 아키텍처에서 다양한 레이어의 필터들 간 상대적 중요도는 어떠한가?
• RQ4 이진 변환과 프로베니우스 노름 변환과 같은 다양한 변환 방법이 인과 추상화의 정확성에 어떤 영향을 미치는가?
• RQ5 학습된 SCM을 사용하여 필터 제거나 하이퍼파rameter 조정과 같은 구조적 변화가 가해졌을 때의 모델 행동을 재학습 없이 예측할 수 있는가?

주요 결과

• SCM는 VGG19 모델에서 CIFAR-10 데이터셋에서 테스트 정확도 0.924를 달성하여 원래 DNN와의 높은 일치성을 보였다.
• 프로베니우스 노름 변환이 이진 변환보다 우수했으며, 후자는 정보 손실가 너무 심해 무작위 수준 이하의 정확도를 보였다.
• 후행 레이어(예: Conv2D 9)의 필터는 제거에 더 민감했으며, VGG19에서 상위 순위 필터들인 309, 162, 373는 심각한 정확도 저하를 유발했다.
• 정확도 저하를 메트릭으로 사용하여 필터 중요도를 성공적으로 순위 매겼으며, 가장 중요도가 낮은 필터들은 성능 저하가 최소한이었다.
• 재학습 없이도 필터 제거와 같은 구조적 변화 이후의 모델 성능을 예측할 수 있어, 모델 압축 및 하이퍼파rameter 탐색에 응용 가능성을 입증했다.
• 이 방법은 아키텍처에 관계없이 일반화 가능하며, LeNet5, VGG19, ResNet32에 대해 일관된 성능을 보였다.