[논문 리뷰] Rectified Decision Trees: Towards Interpretability, Compression and Empirical Soundness

Jiawang Bai, Yiming Li외 3명|arXiv (Cornell University)|2019. 03. 14.

Time Series Analysis and Forecasting참고 문헌 13인용 수 13

한 줄 요약

이 논문은 지식 정복 기반 방법인 Rectified Decision Trees(ReDT)를 제안한다. ReDT는 교사 모델의 소프트 레이블을 활용하여 결정 트리의 성능을 향상시키며, 역전파 없이도 더 나은 성능, 더 작은 모델 크기, 완전한 해석 가능성(해석 가능성)을 달성한다. ReDT는 표준 결정 트리보다 더 나은 압축성과 경험적 타당성을 확보하면서도 특성 기여도를 통해 높은 해석 가능성을 유지한다.

ABSTRACT

How to obtain a model with good interpretability and performance has always been an important research topic. In this paper, we propose rectified decision trees (ReDT), a knowledge distillation based decision trees rectification with high interpretability, small model size, and empirical soundness. Specifically, we extend the impurity calculation and the pure ending condition of the classical decision tree to propose a decision tree extension that allows the use of soft labels generated by a well-trained teacher model in training and prediction process. It is worth noting that for the acquisition of soft labels, we propose a new multiple cross-validation based method to reduce the effects of randomness and overfitting. These approaches ensure that ReDT retains excellent interpretability and even achieves fewer nodes than the decision tree in the aspect of compression while having relatively good performance. Besides, in contrast to traditional knowledge distillation, back propagation of the student model is not necessarily required in ReDT, which is an attempt of a new knowledge distillation approach. Extensive experiments are conducted, which demonstrates the superiority of ReDT in interpretability, compression, and empirical soundness.

연구 동기 및 목표

• 기계학습 모델, 특히 트리 기반 및 딥 러닝 모델에서 해석 가능성과 성능 간의 상충 관계를 해결하기 위해.
• 결정 트리의 해석 가능성은 유지하면서도 성능 향상과 모델 압축을 향상시키는 방법을 개발하기 위해.
• 학생 모델에서 역전파가 필요 없도록 하여 지식 정복의 필요성을 제거하기 위해 새로운, 역전파 없는 정복 프레임워크를 도입하기 위해.
• 다중 교차검증 기반 방법을 통해 소프트 레이블 확보 시 과적합과 무작위성을 감소시키기 위해.

제안 방법

• 불순도 계산에서 하드 레이블을 하드 레이블과 소프트 레이블의 가중 혼합으로 대체함으로써 고전적 결정 트리 구축을 확장한다.
• 순수한 노드 정지 조건을 유지하기 위해 최대 소프트 레이블 확률 기반의 의사 카테고리( pseudo-category )를 도입한다.
• 하드 레이블과 소프트 레이블 기여도를 균형 잡는 데 소프트 레이블 혼합 계수 α를 사용하며, 이는 모델 크기와 일반화 능력 제어에 기여한다.
• 다중 교차검증을 활용해 안정적이고 노이즈가 적은 소프트 레이블을 생성함으로써 과적합과 무작위성을 감소시킨다.
• 학생 모델(ReDT)이 역전파가 필요 없는 정복 프레임워크를 설계함으로써 기존 지식 정복과 차별화한다.
• 특성 기여도(예: MNIST의 핵심 픽셀)를 적용해 결정 경로의 해석 가능성을 시각화하고 향상시킨다.

실험 결과

연구 질문

• RQ1 교사 모델의 소프트 레이블을 활용함으로써 결정 트리가 더 나은 성능과 압축성을 확보하면서도 해석 가능성을 유지할 수 있는가?
• RQ2 기존 결정 트리에 역전파 없이도 작동하는 지식 정복을 어떻게 적응시킬 수 있는가?
• RQ3 소프트 레이블 혼합 계수 α가 모델 크기, 정확도, 일반화에 어떤 영향을 미치는가?
• RQ4 다중 교차검증은 정복 과정에서 소프트 레이블 확보의 강건성과 신뢰성 향상에 기여하는가?
• RQ5 ReDT는 표준 결정 트리에 비해 해석 가능성과 경험적 타당성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• ReDT는 모든 데이터셋에서 표준 결정 트리보다 더 작은 모델 크기를 확보하며, 압축률(Node(ReDT)/Node(DT))이 일관되게 1 이하로 유지된다.
• 소프트 레이블 혼합 계수 α가 감소할수록 ReDT의 모델 크기가 감소함을 확인하여, 소프트 레이블에 더 의존할수록 더 컴act한 트리가 만들어지는 것으로 나타났다.
• ReDT는 뛰어난 경험적 타당성을 확보하며, 랜덤 포레스트나 GBDT와 같은 교사 모델과 경쟁 가능한 성능을 달성하면서도 높은 해석 가능성을 유지한다.
• MNIST에서 핵심 픽셀 시각화를 통한 특성 기여도 분석 결과, ReDT의 결정 경로는 의미적으로 유의미하고 매우 해석 가능하다.
• 소프트 레이블 확보를 위한 다중 교차검증 방법은 무작위성과 과적합을 감소시켜 정복의 안정성과 신뢰성을 향상시켰다.
• ReDT는 학생 모델에서 역전파가 필요 없이 고전적 결정 트리에 지식 정복를 적용할 수 있는 최초의 프레임워크로, 새로운 효율적인 정복 접근법을 제안한다.