[논문 리뷰] Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification

Agus Sudjianto, William Knauth외 3명|arXiv (Cornell University)|2020. 11. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 20

한 줄 요약

이 논문은 활성화 패턴을 사용하여 딥 ReLU 네트워크를 국소 선형 모델(Low-Level Models, LLMs)으로 분해함으로써, 엄밀하고 내재된 해석 가능성 프레임워크를 제안한다. 이는 직접적인 해석, 진단 및 단순화를 가능하게 하며, 영역 병합을 통해 예측 성능을 향상시킨다. 간소화된 3영역 LLM 모델은 훈련 및 테스트 AUC 모두에서 원본 ReLU 네트워크를 뛰어넘는 성능을 달성한다.

ABSTRACT

The deep neural networks (DNNs) have achieved great success in learning complex patterns with strong predictive power, but they are often thought of as "black box" models without a sufficient level of transparency and interpretability. It is important to demystify the DNNs with rigorous mathematics and practical tools, especially when they are used for mission-critical applications. This paper aims to unwrap the black box of deep ReLU networks through local linear representation, which utilizes the activation pattern and disentangles the complex network into an equivalent set of local linear models (LLMs). We develop a convenient LLM-based toolkit for interpretability, diagnostics, and simplification of a pre-trained deep ReLU network. We propose the local linear profile plot and other visualization methods for interpretation and diagnostics, and an effective merging strategy for network simplification. The proposed methods are demonstrated by simulation examples, benchmark datasets, and a real case study in home lending credit risk assessment.

연구 동기 및 목표

• 미션 크리티컬 응용 분야에서 특히 투명성과 해석 가능성의 부족을 해결하기 위해.
• 후행 해석 기법의 가정을 피하는 엄밀하고 내재된 해석 가능성 방법을 개발하기 위해.
• 국소 선형 표현과 시각화 도구를 통해 모델 행동의 진단을 가능하게 하기 위해.
• 중복된 국소 선형 모델을 융합하여 복잡한 ReLU 네트워크를 간소화하고, 성능이 뛰어난 구조로 단순화하기 위해.
• 기본 데이터셋과 실세계의 주택 대출 신용 리스크 평가 사례에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 사전 학습된 딥 ReLU 네트워크를 활성화 패턴 기반으로 국소 선형 모델(LLMs)의 등가 집합으로 분해한다. 이 활성화 패턴은 입력 공간 내 볼록 다각체를 정의한다.
• 각 LLM은 고유한 활성화 패턴에 대응하며, 해당 영역 내에서 네트워크 행동의 선형 근사치를 제공한다.
• 국소 선형 프로파일 플롯과 평행 좌표 플롯을 도입하여, 영역 간 특성 중요도와 모델 행동을 해석하는 데 사용하는 시각화 도구로 활용한다.
• 작은 영역 또는 중복 영역을 통합하여 더 큰, 더 안정적인 LLMs로 통합하는 병합 전략을 제안한다.
• 병합된 영역에서 최종 LLMs를 훈련하기 위해 정규화된 로지스틱 회귀(C=0.1)를 사용하여 일반화 및 예측 성능 향상을 도모한다.
• 최종 간소화된 모델은 원본 ReLU 네트워크를 대체할 수 있는 3노드 피드포워드 네트워크(FL-Net)로도 구현 가능하다.

실험 결과

연구 질문

• RQ1 활성화 패턴을 사용하여 딥 ReLU 네트워크를 체계적으로 국소 선형 모델 집합으로 분해하여 해석 가능성을 향상시킬 수 있는가?
• RQ2 국소 선형 모델을 어떻게 활용하여 모델 행동을 진단할 수 있는가? 예를 들어, 핵심 예측 변수와 영역별 결정 규칙을 식별할 수 있는가?
• RQ3 활성화 패턴 공간 내에서 중복되거나 작은 영역을 병합하면 더 단순하고 안정적이며 성능이 뛰어난 모델을 얻을 수 있는가?
• RQ4 간소화된 모델은 원본 ReLU 네트워크와 비교해 예측 성능을 유지하거나 향상시키는가?
• RQ5 국소 선형 모델은 신용 리스크 역학과 같은 실제 도메인 지식을 어떻게 반영하는가?

주요 결과

• 병합된 LLM 모델은 훈련 AUC 0.8532와 테스트 AUC 0.8388을 기록하여, 원본 ReLU-Net의 훈련 AUC 0.8476과 테스트 AUC 0.8316을 뛰어넘었다.
• 최종 간소화된 FL-Net는 테스트 AUC 0.8368을 기록하여 병합된 네트워크와 유사한 성능을 보였으며, 원본 ReLU-Net보다 뛰어난 성능을 보였다.
• 영역 0(전체 데이터의 85.2%)은 평균 반응값 0.460과 국소 AUC 0.831을 기록하여 혼합된 디폴트 리스크를 나타내었고, 영역 1(90% 디폴트)과 영역 2(85.4% 비디폴트)는 뚜렷한 리스크 프로파일을 보였다.
• 프로파일 플롯은 FICO와 LTV가 혼합 리스크 영역(영역 0)에서 핵심 예측 변수임을 드러냈으며, 연체 상태가 고디폴트 리스크 영역(영역 1)에서 지배적인 역할을 했고, 금융위기 전/후 대출 유형(pre/post-financial crisis origination, premod_ind)이 고신용 품질 영역(영역 2)에서 결정적인 요소임을 확인했다.
• 'h' 시간 프로필 변수는 저신용 품질 대출에서 감소하는 위험률을 보였으며, 이는 신용 이론과 일치한다.
• 병합 과정을 통해 원본 ReLU-Net의 16개 영역이 단지 3개로 줄어들었으며, 많은 영역이 중복되어 있으며 성능 손실 없이 통합 가능함을 입증했다.