[논문 리뷰] Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation

Mathilde Guillemot, Catherine Heusèle외 3명|arXiv (Cornell University)|2020. 02. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 16

한 줄 요약

이 논문은 배치 정규화(BN) 레이어를 계층별 중요도 전파(LRP)에 통합하여 딥 네ural 네트워크의 해석 가능성 향상을 위한 방법을 제안한다. BN을 이전 합성곱 또는 완전 연결 레이어와 융합하여 단일 등가 레이어로 만듦으로써, 정확한 중요도 역전파가 가능해져 더 정밀하고 국소화된 히트맵을 생성한다. 이는 특히 MNIST 및 CIFAR-10에서 합성곱 네트워크에 효과적이며, BN을 포함한 완전 연결 아키텍처에서는 한계를 드러낸다.

ABSTRACT

The lack of transparency of neural networks stays a major break for their use. The Layerwise Relevance Propagation technique builds heat-maps representing the relevance of each input in the model s decision. The relevance spreads backward from the last to the first layer of the Deep Neural Network. Layer-wise Relevance Propagation does not manage normalization layers, in this work we suggest a method to include normalization layers. Specifically, we build an equivalent network fusing normalization layers and convolutional or fully connected layers. Heatmaps obtained with our method on MNIST and CIFAR 10 datasets are more accurate for convolutional layers. Our study also prevents from using Layerwise Relevance Propagation with networks including a combination of connected layers and normalization layer.

연구 동기 및 목표

• 배치 정규화(BN) 레이어를 사용하는 모델에서의 투명성 부족 문제를 해결하기 위해.
• 일반적인 LRP가 정규화 레이어를 다루는 데에 한계를 가지며, 이는 일반적으로 건너뛰거나 忽시되는 경향이 있기 때문에.
• BN 레이어를 LRP에 정확하게 통합하여 더 정확하고 신뢰할 수 있는 중요도 할당을 가능하게 하는 방법을 개발하기 위해.
• 다양한 아키텍처를 사용한 표준 벤치마크(MNIST 및 CIFAR-10)를 통해 BN 통합이 해석 가능성에 미치는 영향을 평가하기 위해.
• 완전 연결 레이어와 함께 BN을 통합할 경우 중요도 맵의 안정성이 떨어질 수 있는 점을 감안해, LRP가 여전히 유효한지 조사하기 위해.

제안 방법

• 저자들은 배치 정규화를 이전 합성곱 또는 완전 연결 레이어와 수학적으로 융합하여, 네트워크의 전방전파를 유지하는 단일 등가 레이어를 도출한다.
• 활성화 함수 이전에 BN이 적용되는 경우, 레이어 파라미터에 대한 폐쇄형 변환을 유도함으로써, 융합된 레이어를 통해 직접 중요도 전파가 가능하게 한다.
• 활성화 함수 이후에 BN이 적용되는 경우, 유사하게 파라미터 변환을 유도하여 역전파 흐름을 위한 계산 그래프를 유지한다.
• 융합된 레이어는 LRP 전파 과정에 통합되어 원래의 BN 레이어를 대체하며, 출력에서 입력으로의 중요도 정확한 분배를 가능하게 한다.
• 이 방법은 BN 외의 정규화 기법에도 확장 가능하여, InstanceNorm 또는 LayerNorm과 같은 기법에도 일반화 가능함을 시사한다.
• 합성곱 및 완전 연결 네트워크를 사용한 MNIST 및 CIFAR-10에서 정성적으로 평가되었으며, BN은 활성화 이전 또는 이후에 배치되었다.

실험 결과

연구 질문

• RQ1 배치 정규화 레이어를 계층별 중요도 전파(LRP) 프레임워크에 정확하게 통합하여 해석 가능성을 향상시킬 수 있는가?
• RQ2 합성곱 네트워크와 완전 연결 네트워크에서 BN 레이어의 포함 여부가 LRP 히트맵의 품질과 국소화에 어떤 영향을 미치는가?
• RQ3 합성곱 또는 완전 연결 레이어와 BN을 융합하는 것이, LRP에서 BN을 건너뛰는 것보다 더 정확한 중요도 할당을 제공하는가?
• RQ4 완전 연결 네트워크에 배치 정규화를 적용할 경우 LRP의 한계는 무엇인가?
• RQ5 배경의 복잡도와 객체-색상 대비가 다른 데이터셋에서 제안된 방법의 성능은 어떻게 변하는가?

주요 결과

• 합성곱 네트워크에서는 제안된 BN 통합을 통해 LRP가 보다 잘 객체 윤곽과 가장자리를 강조하는 히트맵을 생성한다. 이는 기준 방법보다 우수하다.
• MNIST에서는 LRP 동안 BN을 포함함으로써, '0'이나 '9'와 같은 숫자의 내부 영역에서 중요도가 덜 강조되는 등, 더 정밀한 국소화가 이루어진다.
• CIFAR-10에서는 제안된 방법을 사용할 경우, 배경과 객체의 색상이 유사한 경우에도 객체와 배경 간의 대비가 뚜렷하게 향상된다.
• 비균일한 배경이 존재할 경우, BN 통합을 적용한 LRP는 기준(배경 건너뛰기) 및 BN 미적용 모델보다 더 일관성 있는 중요도 맵을 생성한다.
• 완전 연결 네트워크에서는 BN의 위치(활성화 이전 또는 이후)에 관계없이 중요도 맵이 여전히 불안정하고 사용 불가능하다. 이는 LRP와 BN 간의 상호 호환성 결여를 시사한다.
• 이 방법은 복잡한 입력 환경에서 BN 통합의 이점이 더 두드러지며, 이는 실제 고변동성 데이터에 더 높은 활용도를 가짐을 시사한다.