[논문 리뷰] Explaining Convolutional Neural Networks using Softmax Gradient Layer-wise Relevance Propagation

Brian Kenji Iwana, Ryohei Kuroki외 1명|arXiv (Cornell University)|2019. 08. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 21

한 줄 요약

이 논문은 Softmax-Gradient Layer-wise Relevance Propagation (SGLRP)를 제안하며, 이는 LRP를 향상시키기 위해 소프트맥스 출력의 기울기를 사용하여 관련성을 역전파함으로써 클래스 구분 능력이 뛰어난 픽셀 단위의 기여도를 제공한다. SGLRP는 특히 가림이나 경쟁 클래스가 존재하는 다중 클래스 상황에서 기존의 LRP 기반 방법보다 목표 객체를 더 정확히 국소화하고 관련 없는 특징을 효과적으로 억제한다.

ABSTRACT

Convolutional Neural Networks (CNN) have become state-of-the-art in the field of image classification. However, not everything is understood about their inner representations. This paper tackles the interpretability and explainability of the predictions of CNNs for multi-class classification problems. Specifically, we propose a novel visualization method of pixel-wise input attribution called Softmax-Gradient Layer-wise Relevance Propagation (SGLRP). The proposed model is a class discriminate extension to Deep Taylor Decomposition (DTD) using the gradient of softmax to back propagate the relevance of the output probability to the input image. Through qualitative and quantitative analysis, we demonstrate that SGLRP can successfully localize and attribute the regions on input images which contribute to a target object's classification. We show that the proposed method excels at discriminating the target objects class from the other possible objects in the images. We confirm that SGLRP performs better than existing Layer-wise Relevance Propagation (LRP) based methods and can help in the understanding of the decision process of CNNs.

연구 동기 및 목표

• 딥 컨volution 네트워크의 해석 가능성 문제, 특히 다중 클래스 이미지 분류에서의 '블랙박스' 성격을 해결하기 위해.
• 기존의 LRP 기반 시각화 방법을 향상시키기 위해 관련 없는 또는 상충되는 특징을 억제하기 위해 클래스 구분 능력을 도입하기 위해.
• 여러 클래스가 동시에 존재하는 상황에서도 입력 픽셀의 관련성을 특정 타겟 클래스에 정확히 할당할 수 있는 방법을 개발하기 위해.
• 정성적 및 정량적 환경에서의 성능 평가를 통해 국소화 능력과 가림에 대한 강인성을 평가하기 위해.

제안 방법

• SGLRP는 소프트맥스 출력의 기울기를 초기 관련성 신호로 사용하여 LRP를 확장함으로써 클래스별 기여도를 가능하게 한다.
• 이 방법은 소프트맥스 함수의 기울기를 사용하여 네트워크를 통해 관련성을 역전파하며, 이는 비타겟 클래스 확률을 내재적으로 고려한다.
• 딥 타이러 분해(Deep Taylor Decomposition, DTD)의 수정된 버전을 사용하여 계층 간에 관련성을 계층적으로 재분배하며, 소프트맥스의 기울기를 기준으로 한다.
• 소프트맥스 함수의 도함수의 특성을 활용하여 비타겟 클래스의 관련성을 감소시킴으로써 클래스 구분 능력을 향상시킨다.
• 이 방법은 예측된 클래스에 기여하는 영역을 강조하고 배경 및 간섭 물체를 억제하는 픽셀 단위의 관련성 맵을 생성한다.
• SGLRP는 iNNvestigate 라이브러리를 사용하여 구현되었으며, ImageNet에서의 평가를 위해 VGG16에 적용되었다.

실험 결과

연구 질문

• RQ1 SGLRP는 다중 클래스 이미지 분류에서 기존의 LRP 기반 방법보다 더 높은 클래스 구분 능력을 가진 관련성 맵을 생성할 수 있는가?
• RQ2 여러 클래스가 존재하거나 타겟이 가려졌을 때 SGLRP는 목표 객체를 얼마나 정확히 국소화하는가?
• RQ3 초기 관련성 신호로 소프트맥스 기울기를 사용할 경우, 표준 LRP에 비해 정확성과 강인성이 향상되는가?
• RQ4 국소화 정확도와 에너지 분포 측면에서 SGLRP는 Guided Grad-CAM 및 CLRP와 같은 다른 해석 가능성 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 에너지 수준이 ≥67%일 때 SGLRP는 모든 LRP 기반 방법 중에서 가장 높은 포인팅 정확도를 기록하여 국소화 정밀도가 뛰어나다는 것을 입증했다.
• 에너지 수준이 67% 이하일 경우 Guided Grad-CAM이 SGLRP를 앞섰지만, 높은 에너지 임계값에서 SGLRP가 슈퍼세이브하여 노이즈와 배경 아티팩트에 대한 강인성이 뛰어나다는 것을 보여주었다.
• 패치 제거 평가에서 SGLRP는 CLRP 및 기타 LRP 변종보다 뛰어난 성능을 보였으며, 특히 두 번째로 높은 확률을 가진 클래스를 타겟으로 삼을 경우 강력한 클래스 구분 능력을 입증했다.
• SGLRP는 복잡한 장면에서 다수의 간섭 요소가 존재하는 경우에도 목표 객체를 성공적으로 국소화했다. 예를 들어, 그림 7의 (a)에서 거미, (b)에서 사람, (c)에서 기타를 정확히 식별했다.
• 랜덤 베이스라인은 거의 영점에 가까운 포인팅 정확도를 보였으며, 이는 SGLRP의 성능가 우연의 결과가 아님을 확인한다.
• SGLRP는 소프트맥스 기울기를 활용하여 비타겟 클래스의 관련성을 효과적으로 억제함으로써 할당 맵에서 오진 억제에 기여했다.