[논문 리뷰] Regional Tree Regularization for Interpretability in Black Box Models

Mike Wu, Sonali Parbhoo외 6명|arXiv (Cornell University)|2019. 08. 13.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 8

한 줄 요약

이 논문은 정의된 입력 공간 영역 내에서 단순하고 인간이 시뮬레이션할 수 있는 의사결정 트리의 형태로, 깊이 신경망을 국소적으로 해석 가능하도록 유도하는 지역 트리 정규화 방법을 소개한다. 전역 트리 정규화와는 달리, 모델 정확도를 희생시키지 않은 채 더 높은 충실도와 해석 가능성 달성을 이룬다. 특히 임상의가 결과 트리가 임상적으로 의미 있는 것으로 확인한 의료 분야에서 뛰어난 성능을 발휘한다.

ABSTRACT

The lack of interpretability remains a barrier to the adoption of deep neural networks. Recently, tree regularization has been proposed to encourage deep neural networks to resemble compact, axis-aligned decision trees without significant compromises in accuracy. However, it may be unreasonable to expect that a single tree can predict well across all possible inputs. In this work, we propose regional tree regularization, which encourages a deep model to be well-approximated by several separate decision trees specific to predefined regions of the input space. Practitioners can define regions based on domain knowledge of contexts where different decision-making logic is needed. Across many datasets, our approach delivers more accurate predictions than simply training separate decision trees for each region, while producing simpler explanations than other neural net regularization schemes without sacrificing predictive power. Two healthcare case studies in critical care and HIV demonstrate how experts can improve understanding of deep models via our approach.

연구 동기 및 목표

• 다양한 입력 영역에서 해석 가능성과 성능를 균형 잡는 데 실패하는 전역 트리 정규화의 한계를 해결하기 위해.
• 입력 공간을 의미 있는 영역으로 분할하여 전문가의 지식 기반, 맥락 기반 설명을 가능하게 하기 위해.
• 모델 정확도를 유지하면서 국소적 단순성을 촉진하는, 실현 가능한 기울기 기반 정규화 방법을 개발하기 위해.
• 예측을 전문가가 정의한 임상 하위집단 내에서 시뮬레이션할 수 있도록 하여, 안전이 중요한 분야인 의료 분야에서의 모델 감시 가능성과 신뢰도를 향상시키기 위해.

제안 방법

• 입력 공간의 각 영역이 단순하고 축에 수직인 의사결정 트리로 근사되도록 유도하는 영역 특화 트리 정규화 페널티를 도입한다.
• 예측 손실과 각 영역 내 트리 복잡도를 페널티하는 정규화 항을 균형 잡는 공동 최적화 목표를 사용한다.
• 트리 깊이 및 구조의 미분 가능 근사화를 통해 정규화를 구현함으로써 기울기 하강법을 통한 엔드 투 엔드 훈련이 가능해진다.
• 각 영역에 대해 의사결정 트리의 활성화 패턴을 예측하는 서rogate 모델 아키텍처를 활용하여 트리 구조를 통해 역전파가 가능하게 한다.
• 서rogate 훈련 빈도와 병렬 처리를 커스터마이징할 수 있어 계산 효율성이 향상된다.
• 정규화된 주의(attention) 또는 마스킹 메커니즘을 통합하여, 순방향 전파 중 입력을 해당 영역의 트리로 라우팅한다.

실험 결과

연구 질문

• RQ1 지역 트리 정규화는 전역 트리 정규화에 비해 예측 정확도를 유지하거나 향상시키면서도 모델의 해석 가능성 향상에 기여하는가?
• RQ2 의료 데이터에서 지역 특화 의사결정 트리는 전역 트리에 비해 임상적으로 관련 있는 패턴을 얼마나 잘 포착하는가?
• RQ3 도메인 전문가(예: 임상의)가 지역 기반 설명을 얼마나 신뢰하고 검증할 수 있는가?
• RQ4 지역 정규화는 전역 대비 더 안정적이고 의미 있는 최적화를 이끌어내는가?
• RQ5 딥 모델과 그를 정제한 지역 트리 간의 충실도를 실용적 구현을 위해 제어하고 조정할 수 있는가?

주요 결과

• 딥 모델과 정제된 의사결정 트리 간 평균 충실도가 89%에 도달하여, 어려운 예시에서의 비선형성 허용을 고려한 강력한 일치를 나타냈다.
• 중환자 치료 데이터셋에서 임상의들은 지역 트리가 자신의 임상적 추론과 일치함을 확인했으며, 특히 통기 예측에서 GCS가 핵심 요소로 작용함을 지적했다.
• HIV 데이터셋의 경우, 낮은 기저 면역 상태일수록 더 복잡한 트리가 생성되었고, 추가로 약물 관련 분할이 발생함을 임상의들이 관찰했다—이는 알려진 임상 관행과 일치했다.
• 전역 트리 정규화보다 훨씬 더 '바람직한' 최적해를 발견함으로써, 더 나은 최적화 안정성과 해석 가능성의 가능성을 보여주었다.
• 에포크당 훈련 비용은 표준 모델 대비 약 2.7배 증가했지만, 병렬화된 서rogate 훈련과 선택적 재훈련을 통해 여전히 실현 가능했다.