[논문 리뷰] Semantics for Global and Local Interpretation of Deep Neural Networks

Jindong Gu, Volker Tresp|arXiv (Cornell University)|2019. 10. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 33인용 수 7

한 줄 요약

이 논문은 최적화 문제로 설정된 맵핑을 통해 딥 네URAL 네트워크 특성 공간의 벡터와 인간이 이해할 수 있는 의미적 개념을 연결하는 방법을 제안한다. 결과적으로 생성된 의미적 벡터(SeVecs)는 학습된 지식의 글로벌 해석을 가능하게 하며, 분류에 특화된 활성도 맵을 생성하여 국소적 해석성을 향상시킨다. 이는 기준 방법보다 국소화 정확도에서 뛰어난 성능을 보인다.

ABSTRACT

Deep neural networks (DNNs) with high expressiveness have achieved state-of-the-art performance in many tasks. However, their distributed feature representations are difficult to interpret semantically. In this work, human-interpretable semantic concepts are associated with vectors in feature space. The association process is mathematically formulated as an optimization problem. The semantic vectors obtained from the optimal solution are applied to interpret deep neural networks globally and locally. The global interpretations are useful to understand the knowledge learned by DNNs. The interpretation of local behaviors can help to understand individual decisions made by DNNs better. The empirical experiments demonstrate how to use identified semantics to interpret the existing DNNs.

연구 동기 및 목표

• 딥 네URAL 네트워크의 해석 불가능성 문제를 해결하기 위해 분산된 특성 표현을 인간이 이해할 수 있는 의미적 개념과 연결한다.
• 의미적 개념과 특성 공간 벡터 간의 연관성을 최적화 문제로 공식화하여 글로벌 및 국소적 해석성을 향상시킨다.
• 학습된 의미적 벡터를 사용하여 개별 예측에 대한 활성도 맵의 분류 특화 성질을 향상시킨다.
• 의미적 벡터가 국소화 정확도 및 분류에 특화된 설명 향상에 얼마나 효과적인지 평가한다.

제안 방법

• 의미적 벡터(SeVecs)의 발견을 최적화 문제로 공식화하여, 주어진 의미적 개념을 포함한 이미지의 특성 표현을 특성 공간 내에서 학습된 벡터와 정렬한다.
• 유사도 함수 f(ϕ(x), v_c)를 사용하여 깊이 신경망 특성 표현 ϕ(x)가 의미적 벡터 v_c(개념 c에 대해)와 얼마나 잘 정렬되어 있는지 측정한다.
• 최적화 과정은 기저 벡터 e_f^i의 선형 조합을 통해 v_c를 구성하며, 이로써 개념 c를 포함한 이미지들이 v_c에 의해 최대한 활성화되도록 한다.
• SeVecs를 백프로파게이션 기반 설명 기법에 통합하여 활성도 맵을 향상시킴으로써 분류에 특화된 국소화 성능을 향상시킨다.
• 활성도 맵 성능을 정량적으로 평가하기 위해 일반화된 Pointing Game을 도입하며, 맵의 상위 m% 에너지를 임계값으로 설정하고 진짜 객체 경계 상자와 비교한다.
• 전이 학습된 모델(AlexNet 및 VGG16)을 ImageNet의 ILSVRC 검증 세트에 적용하여 글로벌 해석성과 국소 설명 품질을 평가한다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크의 분산된 특성 표현과 의미적 개념을 체계적으로 연결할 수 있는 방법은 무엇인가?
• RQ2 식별된 의미적 벡터가 DNN이 학습한 지식의 글로벌 해석성에 얼마나 기여하는가?
• RQ3 의미적 벡터는 개별 예측에 대한 활성도 맵의 분류 특화 성질을 향상시킬 수 있는가?
• RQ4 의미적 벡터 기반 활성도 맵의 성능은 기준 방법 대비 국소화 정확도에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 AlexNet 및 VGG16 모델 전반에서 기준 활성도 방법들(Guided Backpropagation, Gradient*Input 등)보다 국소화 정확도에서 일관되게 뛰어난 성능을 보였다.
• 일반화된 Pointing Game 평가 결과, 의미적 벡터를 사용해 생성된 활성도 맵은 0%에서 100%까지의 모든 에너지 임계값에서 평균적으로 더 높은 국소화 정확도를 유지하였다.
• 의미 기반 활성도 맵은 유의미하게 더 높은 분류 특화 성질을 보였으며, 예측된 클래스와 관련된 특징을 정확히 강조하면서 유사한 클래스의 관련 없는 특징은 억제하였다.
• 기존 DNN 아키텍처는 색상 정보를 충분히 활용하지 못하고 있으며, 다면적인 개념에 대해 어려움을 겪고 있음을 드러내어 현재 아키텍처의 한계를 시사한다.
• 최적화 기반 SeVec 학습 과정은 효과적인 글로벌 해석을 가능하게 하며, '줄무늬'와 '제브라'와 같은 의미적 개념 간의 관계를 정량화할 수 있다.
• 이 방법은 단일 백워드 패스만 필요로 하여, 이전의 반복적 백프로파게이션에 의존하는 특성 시각화 방법보다 더 효율적이다.