[논문 리뷰] Deep Neural Decision Trees

Yongxin Yang, Irene Garcia Morillo외 1명|arXiv (Cornell University)|2018. 06. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 104

한 줄 요약

DNDT는 신경망 기반 의사 결정 트리 구현으로, 그라디언트 기반 학습과 엔드-투-엔드 학습을 가능하게 하면서 트리 구조의 해석 가능성을 유지합니다.

ABSTRACT

Deep neural networks have been proven powerful at processing perceptual data, such as images and audio. However for tabular data, tree-based models are more popular. A nice property of tree-based models is their natural interpretability. In this work, we present Deep Neural Decision Trees (DNDT) -- tree models realised by neural networks. A DNDT is intrinsically interpretable, as it is a tree. Yet as it is also a neural network (NN), it can be easily implemented in NN toolkits, and trained with gradient descent rather than greedy splitting. We evaluate DNDT on several tabular datasets, verify its efficacy, and investigate similarities and differences between DNDT and vanilla decision trees. Interestingly, DNDT self-prunes at both split and feature-level.

연구 동기 및 목표

• 예측 모델의 해석 가능성에 대한 동기를 부여합니다, 특히 윤리적·안전 중요 영역에서 더 그렇습니다.
• 신경망과 의사 결정 트리를 결합한 모형을 도입하여 해석 가능성과 그라디언트 기반 학습을 달성합니다.
• 표준 NN 도구 모킷에서 트리 모양의 모델의 쉽고 통합 가능성을 보장합니다.
• DNDT가 역전파와 함께 학습되며 미니배치 및 GPU 가속을 지원함을 보여줍니다.

제안 방법

• 각 특성에 대해 학습 가능한 컷-포인트를 통해 differentiable bin boundaries를 생성하는 soft binning 함수를 사용합니다.
• 특징 이진화 출력의 Kronecker 곱으로 트리를 구성하여 최종 리프 노드를 식별합니다.
• 각 리프에 선형 분류기를 부착하여 최종 예측을 생성합니다.
• 단일 패스에서 확률적 경사하강법으로 모든 매개변수를 엔드-투-엔드로 학습합니다.
• 훈련 중 하드 리프 할당을 위해 온도 기반 매끄러움이나 Gumbel-Softmax를 선택적으로 적용합니다.
• Kronecker 곱의 확장성 한계를 논의하고 실제 해결책으로 서브스페이스 앙상블을 제안합니다.

실험 결과

연구 질문

• RQ1 신경망에서 영감을 받은 아키텍처가 본질적으로 해석 가능한 의사 결정 트리를 구현할 수 있는가?
• RQ2 분할 결정과 리프 분류기를 모두 엔드-투-엔드 SGD로 학습했을 때 표 형 데이터에서 경쟁력 있는 성능을 내는가?
• RQ3 DNDT는 전통적 의사 결정 트리 및 일반 신경망과 정확도 및 해석 가능성 측면에서 어떻게 비교되는가?
• RQ4 DNDT 학습 과정에서 나타나는 자기-정규화 효과(예: 활성 컷-포인트 및 특징들)는 무엇인가?
• RQ5 GPU 가속 및 특징 서브스페이스 앙상블이 확장성 문제를 완화할 수 있는가?

주요 결과

• DNDT는 해석 가능하게 트리로 보이지만, 그라디언트 기반 최적화를 가능하게 하는 신경망으로 구현됩니다.
• DNDT는 SGD로 엔드-투-엔드 학습이 가능하고 미니배치 및 GPU 가속을 지원합니다.
• DNDT는 학습 중 활성 컷-포인트 수와 사용되지 않는 특징을 줄이며 자체적으로 가지치기하는 경향이 있습니다.
• 14개의 표 형 데이터 세트에서 DNDT는 종종 vanilla 신경망과 동일하거나 다소 능가하며, 데이터에 따라 전통 DT의 성능에 근접하거나 이를 초과할 수 있습니다.
• 다양한 DNDT 트리들을 무작위 특징 부분공간에서 학습시키면 고차원 데이터셋의 확장성을 개선합니다.
• DNDT는 실행 간 특징 사용 여부를 통해 특징 중요도 분석이 가능하며, 어떤 특징이 의사결정을 주도하는지 파악할 수 있는 방법을 제공합니다.