[논문 리뷰] Interpreting Models via Single Tree Approximation

Yichen Zhou, Giles Hooker|arXiv (Cornell University)|2016. 10. 27.

Bayesian Modeling and Causal Inference참고 문헌 7인용 수 40

한 줄 요약

이 논문은 랜덤 포레스트와 같은 복잡한 기계학습 모델을 해석하기 위해 모델 예측에서 가짜 샘플을 생성하고, 그 행동을 모방하는 결정트리를 구축함으로써 단일 트리 근사화( STA) 방법을 제안한다. 이 방법은 분할의 안정성을 확보하기 위해 지니 지수 차이에 대한 가설 검정을 사용하며, 큰 가짜 샘플 크기에서도 예측 정확도와 구조적 일致성의 높은 수준을 달성한다. 이는 시뮬레이션된 데이터와 실제 우울증 스크리닝 데이터를 통해 입증되었다.

ABSTRACT

We propose a procedure to build a decision tree which approximates the performance of complex machine learning models. This single approximation tree can be used to interpret and simplify the predicting pattern of random forests (RFs) and other models. The use of a tree structure is particularly relevant in medical questionnaires where it enables an adaptive shortening of the questionnaire, reducing response burden. We study the asymptotic behavior of splits and introduce an improved splitting method designed to stabilize tree structure. Empirical studies on both simulation and real data sets illustrate that our method can simultaneously achieve high approximation power and stability.

연구 동기 및 목표

• 랜덤 포레스트와 같은 높은 정확도를 보이지만 해석이 어려운 복잡한 모델에서의 해석 가능성-정확도 트레이드오프 문제를 해결하기 위해.
• 복잡한 모델의 예측 행동을 재현하면서도 의사결정 경로를 단순화하는 안정적인 단일 결정트리 근사화를 개발하기 위해.
• 가짜 예시의 랜덤 샘플링으로 인한 변동성을 제어하여 근사 트리의 구조적 안정성을 확보하기 위해.
• 예측 성능을 유지하면서도 최소한의 영향력 있는 질문들로 구성된 적응형 단기 설문지를 가능하게 하여 의료 현장에서의 응답 부담을 줄이기 위해.
• 오라클 기반 학습을 통해 랜덤 포레스트를 넘어서 어떤 블랙박스 예측자에도 적용 가능한 모델 해석의 적용 범위를 확장하기 위해.

제안 방법

• 근사 트리의 학습 데이터로 사용하기 위해 원본 모델의 예측에서 큰 수의 가짜 샘플을 생성한다.
• 후보 분할 간의 경험적 지니 지수 차이에 대한 가설 검정을 사용하여, 한 분할이 다른 분할보다 유의미하게 우수한지 여부를 판단한다.
• 검정의 유의수준 α 를 제어하여 분할 결정의 안정성을 확보하고 알고리즘의 다양한 실행 간 변동성을 줄인다.
• 트리 구축 과정에서 각 노드에서 재귀적으로 이 검정을 적용하여 일관되고 신뢰할 수 있는 분할 선택을 보장한다.
• 표본 크기와 유의수준을 기반으로 정지 기준을 적용하여 과적합을 방지하고 지니 지수의 안정적 추정을 확보한다.
• 가짜 샘플로 훈련된 CART 유사 알고리즘을 사용하여 근사 트리를 구축하며, 분할 선택은 가설 검정에 의해 안내한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트와 같은 복잡한 모델의 예측을 정확하게 근사화할 수 있는 단일 결정트리를 구성할 수 있는가?
• RQ2 가짜 예시의 랜덤 샘플링에도 불구하고 근사 트리의 구조적 안정성을 어떻게 확보할 수 있는가?
• RQ3 근사 과정에서 지니 지수의 신뢰할 수 있는 추정과 안정적인 분할 결정을 위해 필요한 표본 크기는 얼마인가?
• RQ4 근사 트리는 예측 정확도를 유지하면서도 의료 설문지의 응답 부담을 얼마나 줄일 수 있는가?
• RQ5 오라클 학습 환경에서 지니 지수 차이에 대한 가설 검정이 트리 구축을 효과적으로 안정화시킬 수 있는가?

주요 결과

• 1,000,000개의 가짜 샘플을 사용할 경우, 100개의 트리 중 92개가 동일한 상위 4층 구조를 공유했다.
• 5층까지 구성된 근사 트리는 원본 랜덤 포레스트와 분류 결과에서 90%의 일致성을 보였다.
• 랜덤 포레스트와 근사 트리 간의 예측된 클래스 확률의 L¹-노름 차이는 0.1이었으며, 이는 강력한 예측 충실도를 나타냈다.
• 100,000개를 초과하여 가짜 샘플 수를 늘여도 정확도 향상의 효과가 점점 감소함을 보여, 100,000개로도 안정된 성능을 확보할 수 있었다.
• 유의수준 α = 0.1 이 분할 수준의 안정성을 효과적으로 제어하였으며, Nps = 1,000,000일 때 100개의 트리 모두 동일한 루트와 두 번째 층 분할을 생성했다.
• 이 방법을 통해 88개 질문의 우울증 스크리닝 설문지를 4개 질문의 적응형 도구로 단순화하였고, 원본 RF 모델과 90% 일致성을 확보했다.