[논문 리뷰] Interpreting the Predictions of Complex ML Models by Layer-wise Relevance Propagation

Wojciech Samek, Grégoire Montavon외 3명|arXiv (Cornell University)|2016. 11. 24.

Anomaly Detection Techniques and Applications인용 수 29

한 줄 요약

이 논문은 분류 출력을 입력 특징 기여도로 분해함으로써 딥 네URAL 네트워크 예측을 해석하는 데 사용되는 Layer-wise Relevance Propagation (LRP)를 소개한다. 각 층에서 보존 조건을 만족시키며 관련 점수를 역방향으로 전파함으로써 LRP는 모델의 결정에 가장 영향을 미치는 입력 특징을 강조하는 픽셀 단위의 기여도 맵을 생성하며, 이미지 분류 작업에서 정성적 및 정량적 평가 모두에서 민감도 분석을 능가한다.

ABSTRACT

Complex nonlinear models such as deep neural network (DNNs) have become an important tool for image classification, speech recognition, natural language processing, and many other fields of application. These models however lack transparency due to their complex nonlinear structure and to the complex data distributions to which they typically apply. As a result, it is difficult to fully characterize what makes these models reach a particular decision for a given input. This lack of transparency can be a drawback, especially in the context of sensitive applications such as medical analysis or security. In this short paper, we summarize a recent technique introduced by Bach et al. [1] that explains predictions by decomposing the classification decision of DNN models in terms of input variables.

연구 동기 및 목표

• 복잡한 기계 학습 모델, 특히 '블랙박스' 방식으로 결정을 내리는 딥 네URAL 네트워크(DNN)의 해석 불가능성 문제를 해결하기 위해.
• 특정 입력 특징(예: 이미지의 픽셀)에 대한 출력 함수의 기여도로 DNN 예측을 분해하는 방법을 개발하기 위해.
• 국소적인 변동에 대한 민감도 측정을 넘어서, DNN이 특정 입력에 대해 특정 예측을 할당한 이유를 충실하고 직관적인 방식으로 설명하기 위해.
• 입력 특징과 맥락 정보의 관련성을 정량화함으로써 모델 비교, 검증 및 시각화를 가능하게 하기 위해.
• 이미지 분류, 텍스트 분석, EEG 신호 처리를 포함한 다양한 모델과 작업에 적용 가능한 일반적인 프레임워크를 구축하기 위해.

제안 방법

• LRP는 각 층에서 보존 조건을 유지하면서 국소 재분배 규칙을 사용해 예측 점수를 네트워크 층을 거슬러 역방향으로 재분배한다.
• 핵심 메커니즘은 '알파-베타' 규칙을 사용하여 층 l+1의 뉴런에서 층 l의 뉴런으로 관련성을 전파하는 것으로, R_i = Σ_j [α·(x_i w_ij)^+ / Σ_i (x_i w_ij)^+ - β·(x_i w_ij)^- / Σ_i (x_i w_ij)^- ] · R_j로 정의된다.
• α와 β는 α - β = 1이 되도록 선택되어 층 간 관련성 보존을 유지하며, α=2, β=1 설정은 날카롭고 해석 가능한 히트맵을 생성한다.
• 이 방법은 출력 층에서 시작하여 입력 층으로 향하는 층 단위의 역방향 전파를 통해 적용되며, 결과적으로 픽셀 단위의 관련성 점수를 도출한다.
• 이 접근법은 딥 타일러 분해에 기반하여 다양한 활성화 함수와 네트워크 아키텍처로 확장 가능하다.
• LRP는 Bag-of-Words 및 Fisher Vector/SVM 분류기와 같은 비컨볼루션 모델에도 적용 가능하여 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 입력 특징(예: 픽셀)에 대한 관련성을 할당하여 딥 네URAL 네트워크의 예측을 어떻게 설명할 수 있는가?
• RQ2 국소적 변동에 대한 반응을 측정하는 민감도 기반 설명과 비교해, DNN의 결정에 대한 충실한 설명은 무엇으로 구별되는가?
• RQ3 맥락(예: 배경 또는 주변 물체)이 LRP에 의해 드러난 이미지 분류 결정에 얼마나 기여하는가?
• RQ4 CaffeNet 대비 GoogleNet과 같은 다양한 딥 네URAL 네트워크 아키텍처가 입력 특징에 대해 관련성을 어떻게 분포시키는가? 이는 그들의 결정 전략에 대한 통찰을 제공하는가?
• RQ5 편차 기반 평가로 측정했을 때, 민감도 분석보다 LRP가 더 신뢰할 수 있고 정량적으로 의미 있는 설명을 제공할 수 있는가?

주요 결과

• 민감도 분석에 비해 LRP는 훨씬 더 날카우며 직관적인 기여도 맵을 생성하며, 높은 기울기 민감도로 인해 종종 관련 없는 배경 영역을 강조하는 경향이 있는 민감도 분석과 대비된다.
• 편차 분석에서 LRP가 식별한 관련 영역은 분류 점수의 더 빠른 감소(높은 AOPC 값)를 유도하여 실제 모델 행동과의 높은 일치도를 보였다.
• 비행기나 양과 같은 물체 카테고리의 경우, 대부분의 관련성이 물체의 경계 상자 내부에 국한되어 있어 맥락의 영향이 미미함을 시사했다.
• '의자'나 '소파'와 같은 실내 환경 카테고리의 경우, LRP는 맥락이 분류에 중요한 역할을 하며 주변 영역에 상당한 관련성이 할당됨을 드러냈다.
• GoogleNet은 동물의 얼굴 중심으로 더 흐릿하고 집중된 관련성 맵을 생성한 반면, BVLC CaffeNet은 몸통과 털 전체에 걸쳐 관련성을 더 넓게 분포시켰다.
• α=2, β=1로 설정된 알파-베타 규칙은 다양한 모델과 데이터셋에서 일관되게 고품질의 히트맵을 생성하여 강건성과 일반화 능력을 입증했다.