[논문 리뷰] Explaining the Unexplained: A CLass-Enhanced Attentive Response (CLEAR) Approach to Understanding Deep Neural Networks

Devinder Kumar, Alexander Wong외 1명|arXiv (Cornell University)|2017. 04. 13.

Explainable Artificial Intelligence (XAI)참고 문헌 3인용 수 11

한 줄 요약

이 논문은 깊이 신경망의 결정을 해석하기 위해 주의 영역, 그들의 활성 수준, 그리고 각 영역에 영향을 미치는 지배적 클래스를 동시에 시각화하는 새로운 시각화 방법인 CLEAR(Class-Enhanced Attentive Response)를 소개한다. 히트맵 기반 방법이 주의 강도만 보여주는 데 비해, CLEAR는 다중 요인 해석을 제공하여 결정의 모호성을 크게 줄이고, 다양한 데이터셋에서 딥 네ural 네트워크(DNN)가 특정 예측을 하는 이유에 대한 통찰을 향상시킨다.

ABSTRACT

In this work, we propose CLass-Enhanced Attentive Response (CLEAR): an approach to visualize and understand the decisions made by deep neural networks (DNNs) given a specific input. CLEAR facilitates the visualization of attentive regions and levels of interest of DNNs during the decision-making process. It also enables the visualization of the most dominant classes associated with these attentive regions of interest. As such, CLEAR can mitigate some of the shortcomings of heatmap-based methods associated with decision ambiguity, and allows for better insights into the decision-making process of DNNs. Quantitative and qualitative experiments across three different datasets demonstrate the efficacy of CLEAR for gaining a better understanding of the inner workings of DNNs during the decision-making process.

연구 동기 및 목표

• 딥 네ural 네트워크에서 히트맵 기반의 설명 방법이 특정 이미지 영역이 결정에 영향을 미치는 *이유*를 설명하지 못하는 데 기인한 핵심적 한계를 해결하기 위해.
• 주의 영역과 활성 수준 외에도 각 주의 영역과 관련된 지배적 클래스를 포괄하는 시각화 기법을 개발하기 위해.
• 결정 과정에 대한 다각적 시각화를 통해 DNN의 결정 모호성을 줄이고, 고위험 응용 분야에서의 신뢰성과 설명 가능성을 향상시키기 위해.
• 다양한 데이터셋에서의 실증적 검증을 통해 기존 방법과 비교해 DNN 행동에 대한 통찰을 향상시키는 방법의 효과성을 입증하기 위해.

제안 방법

• 학습된 DCNN의 마지막 층을 사용하여 각 클래스별로 개별 주의 반응 맵을 계산한다.
• 모든 클래스에서 각 공간 위치에서 가장 높은 활성 수준을 강조하는 지배적 주의 반응 맵을 생성한다.
• 각 공간 위치에 대해 가장 높은 활성 수준을 가진 클래스를 할당하는 지배적 클래스 주의 맵을 구성한다.
• 이 두 맵—지배적 반응과 지배적 클래스—을 융합하여 최종 CLEAR 맵을 생성하며, 여기서 색상은 지배적 클래스를, 강도는 활성 수준을 반영한다.
• 이 방법은 탈디컨볼루션 기반의 샐런시 방법과 호환되며, LRP나 딥 타이러 디컴포지션과 같은 다른 기여도 기법으로도 확장 가능하다.
• 이 방법은 MNIST, CIFAR-100, Stanford Dogs 데이터셋의 이미지에 적용되어 결정 과정을 시각화하고 분석한다.

실험 결과

연구 질문

• RQ1 단순한 주의 히트맵을 넘어서, 딥 네ural 네트워크 결정의 해석 가능성을 어떻게 향상시킬 수 있는가?
• RQ2 특정 이미지 영역과 그에 연결된 클래스는 DNN의 최종 예측에 어떤 역할을 하는가?
• RQ3 각 주의 영역의 지배적 클래스를 시각화하면, DNN이 특정 결정을 내린 *이유*를 이해하는 데 있어 모호성이 줄어들 수 있는가?
• RQ4 CLEAR 맵에서 식별된 강력한 특징이 정확한 분류와 얼마나 관련이 있는가?
• RQ5 기존의 히트맵 기반 방법과 비교했을 때, CLEAR는 DNN의 진정한 결정 이론을 얼마나 잘 드러내는가?

주요 결과

• CLEAR 맵은 네트워크가 어디에 주목하는지뿐만 아니라 각 영역에서 가장 영향을 미치는 클래스까지 보여줌으로써 결정의 모호성을 효과적으로 줄인다.
• 실험 결과, CLEAR가 식별한 가장 강력한 특징들이 정확한 분류에 필수적임을 입증하였으며, 이러한 특징을 제거하면 정확도가 극적으로 감소한다.
• 강력한 특징을 제거한 후에도 분류가 이루어지는 경우, 네트워크는 종종 부가적인 또는 유사한 특징에 의존함으로써 특징 중복을 통한 강건성을 보인다.
• 잘못 분류된 예시의 경우, CLEAR 맵을 통해 잘못된 클래스(예: 시바 투르가 추종자보다 더 높은 활성 수준)에 의해 예측이 유도됨을 확인하였으며, 이는 실패 메커니즘을 설명한다.
• 이 방법은 DNN에서 클래스 증거가 국소화되고 희박함을 효과적으로 시각화하였으며, 특징 공간 내 특정 비균일 영역에서 유래함을 보여주었다.
• 특히 네트워크가 올바른 특징에 집중하고도 여전히 잘못 분류하는 경우, CLEAR 맵는 히트맵과 이진 맵보다 뛰어난 해석 가능성을 보였다.