[논문 리뷰] Optimizing for Interpretability in Deep Neural Networks with Tree Regularization

Mike Wu, Sonali Parbhoo외 3명|arXiv (Cornell University)|2019. 08. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 8

한 줄 요약

이 논문은 깊이 있는 신경망이 높은 정확도를 유지하면서도 인간이 쉽게 시뮬레이션할 수 있도록 하기 위해 결정 함수가 단순하고 축에 수직인 결정 트리에 잘 근사되도록 유도하는 트리 정규화를 도입한다. 이 방법은 L0 희박성(스퍼스맥스를 통한)을 활용한 전역 및 지역적 트리 정규화를 사용하여 원본 모델에 높은 정밀도를 유지하면서도 도메인 전문가들이 쉽게 시뮬레이션 가능한 결정 규칙을 통해 예측을 해석할 수 있도록 한다.

ABSTRACT

Deep models have advanced prediction in many domains, but their lack of interpretability remains a key barrier to the adoption in many real world applications. There exists a large body of work aiming to help humans understand these black box functions to varying levels of granularity -- for example, through distillation, gradients, or adversarial examples. These methods however, all tackle interpretability as a separate process after training. In this work, we take a different approach and explicitly regularize deep models so that they are well-approximated by processes that humans can step-through in little time. Specifically, we train several families of deep neural networks to resemble compact, axis-aligned decision trees without significant compromises in accuracy. The resulting axis-aligned decision functions uniquely make tree regularized models easy for humans to interpret. Moreover, for situations in which a single, global tree is a poor estimator, we introduce a regional tree regularizer that encourages the deep model to resemble a compact, axis-aligned decision tree in predefined, human-interpretable contexts. Using intuitive toy examples as well as medical tasks for patients in critical care and with HIV, we demonstrate that this new family of tree regularizers yield models that are easier for humans to simulate than simpler L1 or L2 penalties without sacrificing predictive power.

연구 동기 및 목표

• 도메인 전문가들이 모델 예측을 수동으로 단계적으로 따라갈 수 있도록 하는 인간 시뮬레이션 가능성을 높여, 딥 러닝에서의 핵심 장벽인 해석 가능성 문제를 해결하기 위해.
• 전체 모델 논리나 복잡한 추론이 필요한 후행적 해석 방법의 한계를 극복하기 위해.
• 모델 학습 후에 해석을 적용하는 것이 아니라, 학습 단계에서 시뮬레이션 가능성을 명시적으로 최적화하는 정규화 접근법을 개발하기 위해.
• 도메인 전문가들이 해석 가능한 트리 구조의 결정 함수를 통해 모델의 결정을 감시, 검증, 개선할 수 있도록 하기 위해.

제안 방법

• 깊이 있는 모델의 결정 함수가 단일한, 컴팩트한, 축에 수직인 결정 트리에 잘 근사되도록 유도하는 전역 트리 정규화 항을 도입한다.
• 학습 데이터를 R개의 인간이 이해할 수 있는 영역으로 분할하고, 각 영역에 대해 별도의 국소 결정 트리를 갖는 지역적 트리 정규화 프레임워크를 제안한다.
• 영역 선택의 희박성을 강제하기 위해 스퍼스맥스(비차별적 L0 노름의 근사)를 사용하여 단순한 결정 경계의 과도한 정규화를 방지한다.
• 허수 모델을 사용해 휘발성 트리의 평균 경로 길이(APL)를 추정하고, 이는 해석 가능성의 대리 지표로 사용되며 깊이 있는 모델을 통해 역전파된다.
• 표준 예측 손실과 함께 APL 및 휘발성 트리에 대한 충실도에 기반한 정규화 항을 포함한 복합 손실을 사용해 깊이 있는 모델을 엔드 투 엔드로 학습시킨다.
• 사용자 정의 가능한 허수 모델 재사용 빈도와 영역 우선순위 설정을 지원하며, 계산 비용을 줄이기 위해 영역 선택을 밴딧 문제로 간주한다.

실험 결과

연구 질문

• RQ1 학습 중에 명시적인 정규화를 통해 깊이 있는 신경망을 높은 정확도와 동시에 인간이 시뮬레이션할 수 있도록 훈련시킬 수 있는가?
• RQ2 딥 모델에 전역적 또는 지역적 트리 구조를 강제로 적용함으로써 예측 성능을 훼손시키지 않고도 해석 가능성을 향상시킬 수 있는가?
• RQ3 L0 기반 희박성(L0 기반 희박성, 스퍼스맥스를 통한)이 L1 또는 L2 정규화보다 의미 있는, 비자명한 결정 경계를 휘발성 트리에 유지하는 데서 어떤가?
• RQ4 지역적 트리 정규화가 도메인 전문가들이 임상적으로 관련성이 높은 특정 하위집단에서의 모델 행동을 맥락 기반으로 이해할 수 있도록 할 수 있는가?

주요 결과

• 지역적 트리 정규화 모델은 깊이 있는 모델과 휘발성 트리 간에 89%의 충실도를 달성하여 대부분의 예시에서 결정 논리가 강하게 일치함을 나타낸다.
• L0 영역 정규화(sparsemax)는 L1, L2 및 소프트맥스 근사보다 평균 경로 길이(APL)가 낮고 AUC 최소값이 높아, 자명한 결정 함수를 피하는 데 뛰어난 성능을 보였다.
• 세프시스 데이터셋에서 지역적 트리 정규화는 에포크당 약 39.9초의 학습 시간 증가를 초래했으며(L2의 약 2.4초 대비), 이는 허수 모델 재사용을 통해 관리 가능하고 확장 가능했다.
• 중환자 치료 및 HIV 분야의 의료진은 휘발성 결정 트리를 신속하게 이해하고 검증하며 개선 제안을 할 수 있었으며, 실용적인 해석 가능성의 가능성을 입증했다.
• 이 방법은 낮은 APL을 유지하면서도 표준 결정 트리보다 AUC에서 뛰어난 성능을 보였으며, 깊이 있는 모델에 트리 정규화를 적용한 것이 정확도와 시뮬레이션 가능성을 동시에 확보할 수 있음을 보여주었다.
• 기울기 기반 최적화 방법인 넬더-미드와 입력 변형 방법은 불안정하거나 계산 비용이 과도하여 사용이 어려웠고, 반면 허수 기반 최적화는 더 안정적이고 효율적인 것으로 밝혀졌다.