[논문 리뷰] Interpreting Deep Neural Networks Through Variable Importance

Jonathan Ish-Horowicz, Dana Udwin외 3명|arXiv (Cornell University)|2019. 01. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 75인용 수 9

한 줄 요약

이 논문은 변분 베이지안 신경망에 확장된 RelATive cEntrality (RATE) 측정법을 활용하여 딥 네ural 네트워크에서 글로벌 해석 가능성에 대한 베이지안 프레임워크를 제안한다. 사전 분포의 불확실성과 부분 공분산 구조를 활용하여 튜닝 파rameter 없이 특성 중요도 순위를 매길 수 있으며, 시뮬레이션된 데이터와 실제 응용 사례(유전체학 응용 포함)에서 뛰어난 성능을 보였다.

ABSTRACT

While the success of deep neural networks (DNNs) is well-established across a variety of domains, our ability to explain and interpret these methods is limited. Unlike previously proposed local methods which try to explain particular classification decisions, we focus on global interpretability and ask a universally applicable question: given a trained model, which features are the most important? In the context of neural networks, a feature is rarely important on its own, so our strategy is specifically designed to leverage partial covariance structures and incorporate variable dependence into feature ranking. Our methodological contributions in this paper are two-fold. First, we propose an effect size analogue for DNNs that is appropriate for applications with highly collinear predictors (ubiquitous in computer vision). Second, we extend the recently proposed "RelATive cEntrality" (RATE) measure (Crawford et al., 2019) to the Bayesian deep learning setting. RATE applies an information theoretic criterion to the posterior distribution of effect sizes to assess feature significance. We apply our framework to three broad application areas: computer vision, natural language processing, and social science.

연구 동기 및 목표

• 딥 네ural 네트워크(DNN)에서 글로벌 해석 가능성의 부족, 특히 예측 정확도만큼이나 특성의 유의미함이 중요한 과학 분야에서의 문제를 해결하기 위해.
• 모델 재학습이나 하이퍼파ram터 튜닝 없이도 훈련된 DNN에서 가장 중요한 입력 특성을 식별하는 방법을 개발하기 위해.
• 원래 가우스 프로세스 회귀에 사용된 RATE 측정법을 변분 베이즈를 활용한 불확실성 정량화를 통해 딥 네럴 네트워크로 확장하기 위해.
• 생물마커 탐색 및 의료 진단과 같은 고위험 응용 분야에서 복잡한 DNN의 해석 가능성을 보장하기 위해.
• 특성 간 상호작용을 부분 공분산 구조를 통해 고려하는, 체계적이고 확장 가능한 변수 중요도 접근법을 제공하기 위해.

제안 방법

• 변분 베이지안 신경망에서 효과 크기의 사후 분포를 사용하여 상대 중심성(Relative Centrality)을 계산함으로써 RATE 측정법을 딥 네럴 네트워크에 적응시킴.
• 네트워크 가중치의 사후 분포를 다변수 정규분포로 근사하여 효과 크기 추정치와 그 공분산을 유도함.
• 정밀도 행렬을 포함한 선형 시스템의 해를 통해 특성 중요도를 계산함: δj = λᵀ₋ⱼΛ₋ⱼ⁻¹λ₋ⱼ로, 각 특성의 상대 기여도를 정량화함.
• 모든 DNN 아키텍처에 적용 가능한 통합 프레임워크를 제공하며, 라플라스 또는 확률적 경사 하강법 근사 기반으로도 계산 가능한 불확실성 추정이 가능한 네트워크에 적용 가능함.
• 변수 그룹의 중요도를 평가하기 위해 groupRATE를 도입하여 유전체학에서의 유전자 집단과 같은 계층적 데이터에 적용 가능함.
• Sherman-Morrison 공식을 활용하여 계산 비용을 p⁴에서 p³로 감소시켜 고차원 데이터에 대한 확장성 향상.

실험 결과

연구 질문

• RQ1 RATE 측정법이 딥 네럴 네트워크로 효과적으로 확장되어 글로벌 특성 중요도 순위 매기기에 기여할 수 있는가?
• RQ2 제안된 방법이 튜닝 파rameter 없이 기존 방법들과 비교하여 관련 특성을 어떻게 더 잘 식별하는가?
• RQ3 이 방법이 고차원 데이터에서 복잡한 특성 간 상호작용과 그룹 수준의 중요도를 얼마나 잘 포착할 수 있는가?
• RQ4 이 방법은 유전체 연관 분석과 같은 실제 생물의학 데이터셋에 적용되어 생물학적으로 의미 있는 예측 변수를 식별할 수 있는가?
• RQ5 이 방법의 계산적 한계는 무엇이며, 방사학 등 대규모 응용 분야에서 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 방법은 하이퍼파ram터 튜닝 없이도 시뮬레이션 및 실제 데이터셋에서 중요한 특성을 성공적으로 식별하였으며, 안정성과 해석 가능성 면에서 경쟁 방법들을 능가함.
• 고차원 유전체학 데이터에서 관련 특성을 식별하는 데 뛰어난 성능을 보였으며, groupRATE는 생물학적으로 의미 있는 유전자 집단을 효과적으로 순위 매김함.
• 계산 비용은 p개 특성에 대해 O(p⁴)로 증가하여 p ≈ 10²에서는 가능하지만, p > 10⁴에서는 최적화 없이선 도전적임.
• Sherman-Morrison 공식의 사용으로 특성당 계산 비용을 O(p³)로 감소시켜 대규모 데이터셋에 대한 확장성 크게 향상됨.
• 불확실성 추정이 가능한 모든 DNN에 적용 가능하며, 라플라스 또는 SGD 기반 근사법을 통해 결정론적 네트워크에도 적용 가능하여 실용적 활용 범위 넓어짐.
• 은닉층 표현을 집합된 특성로 간주하여 해석 가능하게 함으로써, 생물학적 또는 구조적 데이터 환경에서 중간 표현의 중심성 분석이 가능해짐.