[논문 리뷰] Towards Interpretable Semantic Segmentation via Gradient-weighted Class Activation Mapping

Kira Vinogradova, Alexandr Dibrov외 1명|arXiv (Cornell University)|2020. 02. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 10

한 줄 요약

이 논문은 세분화된 예측에 대해 픽셀 수준의 관련성을 강조하는 클래스별 히트맵을 생성하는 기반으로 하는 그래디언트 기반 방법인 seg-grad-cam을 제안한다. 이는 중간 특징 맵에서의 그래디언트 가중 활성화를 계산하여, 지도 학습 세분화 마스크와 잘 일치하는 해석 가능한 시각화를 생성한다. 특히 U-Net 아키텍처에서 복잡한 레이어의 특징을 사용할 경우 효과적이다.

ABSTRACT

Convolutional neural networks have become state-of-the-art in a wide range of image recognition tasks. The interpretation of their predictions, however, is an active area of research. Whereas various interpretation methods have been suggested for image classification, the interpretation of image segmentation still remains largely unexplored. To that end, we propose SEG-GRAD-CAM, a gradient-based method for interpreting semantic segmentation. Our method is an extension of the widely-used Grad-CAM method, applied locally to produce heatmaps showing the relevance of individual pixels for semantic segmentation.

연구 동기 및 목표

• 딥 러닝 모델에서 세분화에 대한 설명 가능성 기법의 부족을 해결하기 위해.
• 이미지 분류에서 널리 사용되는 Grad-CAM 기법을 픽셀 수준의 세분화 작업으로 확장하기 위해.
• 개별 픽셀 예측에 가장 기여하는 영역을 설명하는 국소화된, 클래스별 히트맵을 생성하기 위해.
• 중간 특징 레이어(특히 U-Net의 복잡한 레이어)가 의미 있는 시각적 설명을 생성하는 데 얼마나 효과적인지 평가하기 위해.
• U-Net을 포함한 모든 세분화 네트워크에 적용 가능한 융통성 있고 그래디언트 기반의 설명 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 전역 로짓 $ y^c $ 를 관심 있는 픽셀 집합 $ \mathcal{M} $ 에 대해 $ \sum_{(i,j)\in\mathcal{M}} y_{ij}^c $ 로 대체함으로써 Grad-CAM을 수정하여, 픽셀 또는 객체 수준의 설명 가능성을 가능하게 한다.
• 각 특징 맵 $ A^k $ 에 대해 $ \alpha_c^k = \frac{1}{N} \sum_{u,v} \frac{\partial y^c}{\partial A_{uv}^k} $ 를 계산하며, 이는 로짓의 합에서 특징 맵으로의 역전파 그래디언트를 의미한다.
• 히트맵은 $ L^c = \mathrm{ReLU}\left( \sum_k \alpha_c^k A^k \right) $ 를 통해 생성되며, 이는 클래스 $ c $ 의 예측에 기여하는 양의 영역을 강조한다.
• 이 방법은 $ \mathcal{M} $ 의 선택을 자유롭게 할 수 있으며, 단일 픽셀, 객체 인스턴스, 또는 전체 이미지 픽셀을 포함할 수 있어 국소화 또는 전역 설명 가능성을 제공한다.
• 특히 U-Net의 복잡한 레이어에서 유래한 중간 레이어의 특징 맵을 활용하며, 이는 디코더 레이어보다 더 정보가 풍부한 히트맵을 생성하는 것으로 나타났다.
• 최종 히트맵에 ReLU 활성화를 적용하여 음성 기여를 억제하고 양성 활성화 영역에 집중한다.

실험 결과

연구 질문

• RQ1 예측이 전역이 아닌 픽셀 수준에서 이루어지는 세분화에 대해 그래디언트 기반 클래스 활성화 매핑을 효과적으로 확장할 수 있는가?
• RQ2 U-Net 아키텍처에서 어떤 중간 특징 레이어가 가장 의미 있는 해석을 위한 히트맵을 생성하는가?
• RQ3 seg-grad-cam이 생성한 히트맵은 공간적 일치성과 관련성 측면에서 지도 세분화 마스크와 어떻게 비교되는가?
• RQ4 단일 픽셀 또는 전체 픽셀을 선택하는 $ \mathcal{M} $ 의 선택이 히트맵의 설명 가능성과 타당성에 영향을 주는가?
• RQ5 seg-grad-cam은 나무를 강조하여 하늘을 예측할 때 모델의 이론적 추론을 초월한 맥락적 의존성을 드러내는가?

주요 결과

• U-Net 아키텍처에서 복잡한 레이어의 특징에서 유도된 히트맵은 디코더 레이어의 것보다 지도 세분화 마스크와 더 강한 일치를 보이며 더 의미 있는 세분화를 반영한다.
• 이 방법은 하늘을 예측할 때 나무와 같은 관련 맥락적 영역을 강조함으로써 고수준의 의미적 의존성을 포착하고 있음을 보여준다.
• 초기 합성곱 레이어는 히트맵에서 가장자리 유사한 구조를 생성하며, 이는 저수준 특징을 탐지하는 데 기여하는 것으로 일치한다.
• 복잡한 레이어에서 디코더 레이어로 갈수록 히트맵이 점점 최종 세분화 마스크와 유사해지며, 이는 점진적인 특징 정제 과정을 반영한다.
• 특징 맵의 전역 가중치화 덕분에 선택된 픽셀의 수용체 영역을 초월한 영역도 히트맵에 강조될 수 있다.
• 이 방법은 $ \mathcal{M} $ 를 변경함으로써 단일 픽셀, 객체 인스턴스, 또는 전체 이미지에 대한 해석을 지원함으로써 융통성 있고 일반화 가능하다.