[논문 리뷰] Relative Attributing Propagation: Interpreting the Comparative Contributions of Individual Units in Deep Neural Networks

Woo-Jeoung Nam, Shir Gur외 3명|arXiv (Cornell University)|2019. 04. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 15

한 줄 요약

이 논문은 상호 연결된 뉴런 간 영향의 상대성에 기반해 이중성(양성 및 음성)의 관련성 점수를 부여함으로써 딥 네ural 네트워크(DNN) 예측을 분해하는 새로운 방법인 상대적 관련성 전파(Relative Attributing Propagation, RAP)를 제안한다. RAP는 객체 관련 특징와 배경 특징을 명확히 분리함으로써 해석 가능성성을 향상시켜, 기존 방법에 비해 객체성, 세분화 mIOU, 음성 관련성 편향에 대한 강건성에서 뛰어난 성능을 보인다.

ABSTRACT

As Deep Neural Networks (DNNs) have demonstrated superhuman performance in a variety of fields, there is an increasing interest in understanding the complex internal mechanisms of DNNs. In this paper, we propose Relative Attributing Propagation (RAP), which decomposes the output predictions of DNNs with a new perspective of separating the relevant (positive) and irrelevant (negative) attributions according to the relative influence between the layers. The relevance of each neuron is identified with respect to its degree of contribution, separated into positive and negative, while preserving the conservation rule. Considering the relevance assigned to neurons in terms of relative priority, RAP allows each neuron to be assigned with a bi-polar importance score concerning the output: from highly relevant to highly irrelevant. Therefore, our method makes it possible to interpret DNNs with much clearer and attentive visualizations of the separated attributions than the conventional explaining methods. To verify that the attributions propagated by RAP correctly account for each meaning, we utilize the evaluation metrics: (i) Outside-inside relevance ratio, (ii) Segmentation mIOU and (iii) Region perturbation. In all experiments and metrics, we present a sizable gap in comparison to the existing literature. Our source code is available in \url{https://github.com/wjNam/Relative_Attributing_Propagation}.

연구 동기 및 목표

• 딥 네럴 네트워크(DNN)의 투명성 부족 문제를 해결하기 위해 뉴런 기여도를 더 해석 가능한 방식으로 가능하게 하는 것.
• 절대 기여도에 의존하는 전통적 기여도 방법이 음성 및 양성 관련성을 혼동하는 한계를 극복하는 것.
• 절대 기여도의 부호가 아닌 뉴런 간 상대적 영향에 초점을 맞춰 관련성에 대한 새로운 시각을 제시하는 것.
• 관련성의 양성(예측에 기여하는)과 음성(예측을 저해하는)을 최소한의 겹침으로 분리함으로써 시각화의 명확성을 향상시키는 것.
• 외부-내부 관련성 비율, mIOU, 영역 편향 평가와 같은 정량적 지표를 사용하여 방법의 타당성을 검증함으로써, 더 뛰어난 객체성과 강건성을 입증하는 것.

제안 방법

• RAP는 레이어 내 뉴런 간 상대적 영향에 기반해 관련성을 재정의하며, 절대 기여도 크기 대신 상대적 영향에 기반해 이중성 점수를 할당한다.
• 모든 뉴런 기여도의 합이 최종 출력과 일치하도록 보존 법칙을 유지하며 관련성을 재분配한다.
• 상호 연결된 뉴런 간 상대 우선순위에 기반해 관련성을 양성(예측에 기여)과 음성(예측을 저해)으로 분리한다.
• 각 레이어에서 순차적으로 관련성 전파를 수행하며, 각 뉴런의 기여도는 이웃 뉴런들과의 상대적 영향에 따라 결정된다.
• 음성 관련성을 명시적으로 모델링하고 평가에 활용함으로써, 양성 관련성만 고려하는 기존 방법과 차별화된다.
• 관련성 맵의 임계처리(영점 또는 평균값 기준)를 통해 mIOU 평가용 세분화 마스크를 생성함으로써, 객체성 기준과의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 뉴런 간 상대적 영향을 고려하는 새로운 기여도 방법이 기존 방법에 비해 DNN 예측의 해석 가능성성을 향상시키는가?
• RQ2 상대적 영향에 기반해 양성 및 음성 관련성을 분리하면 객체 의미와 더 잘 일치하는 더 명확한 시각화 결과를 얻을 수 있는가?
• RQ3 mIOU 및 세분화 지표로 측정했을 때, RAP 기여도가 객체 존재 영역과 배경 영역과 얼마나 관련이 깊은가?
• RQ4 음성 관련성(무관한 픽셀) 제거에 대해 RAP는 얼마나 강건한가? 다른 방법에 비해 예측 안정성을 유지하는가?
• RQ5 경계상자나 세분화 애너테이션 없이도 RAP는 감독된 객체성 방법과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• RAP는 테스트된 모든 방법 중에서 가장 높은 외부-내부 관련성 비율을 기록하여 관련 영역과 무관 영역 간의 우수한 분리 능력을 보였다.
• ImageNet 및 Pascal VOC 2012 검증 세트에서 RAP는 세분화 작업에서 가장 높은 평균 교차율(mIOU)을 달성하여 기존 설명 방법을 모두 압도했다.
• 음성 관련성(무관 영역)에 해당하는 최대 4,000개 픽셀을 0으로 편향시켜도 RAP는 높은 예측 정확도를 유지하며 강건성을 입증했다.
• 관련성 맵과 객체 존재 영역 간 강한 상관관계를 보였으며, 양성 관련성은 주 객체에 집중되어 있고 음성 관련성은 배경에 분포되어 있었다.
• 경계상자나 세분화 애너테이션 없이도 RAP는 최신 비지도 객체성 방법과 경쟁 가능한 성능을 보였으며,
• 양성 및 음성 관련성을 모두 고려한 ALL 케이스에서 RAP는 모든 지표에서 최고의 점수를 기록하여 음성 기여도를 명시적으로 모델링하는 것이 가치가 있음을 확인했다.