[논문 리뷰] Oblique Decision Trees from Derivatives of ReLU Networks

Guang-He Lee, Tommi Jaakkola|arXiv (Cornell University)|2019. 09. 30.

Computational Drug Discovery Methods참고 문헌 39인용 수 6

한 줄 요약

이 논문은 ReLU 네트워크의 국소적으로 일정한 기울기를 활용하여 기울기 기반으로 기울기 결정 트리를 암묵적으로 표현하는 국소적으로 일정한 네트워크(LCNs)를 소개한다. 냉각과 DropConnect를 사용한 경사하강법으로 훈련함으로써 LCNs는 전통적인 기울기 결정 트리 방법과 표준 트리 앙상블을 모두 능가하는 분자 성질 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We show how neural models can be used to realize piece-wise constant functions such as decision trees. The proposed architecture, which we call locally constant networks, builds on ReLU networks that are piece-wise linear and hence their associated gradients with respect to the inputs are locally constant. We formally establish the equivalence between the classes of locally constant networks and decision trees. Moreover, we highlight several advantageous properties of locally constant networks, including how they realize decision trees with parameter sharing across branching / leaves. Indeed, only $M$ neurons suffice to implicitly model an oblique decision tree with $2^M$ leaf nodes. The neural representation also enables us to adopt many tools developed for deep networks (e.g., DropConnect (Wan et al., 2013)) while implicitly training decision trees. We demonstrate that our method outperforms alternative techniques for training oblique decision trees in the context of molecular property classification and regression tasks.

연구 동기 및 목표

• 기울기 결정 트리의 해석 가능성과 딥러닝의 표현 능력을 융합하기 위해 기울기 결정 트리의 미분 가능한 신경 기반 표현을 만든다.
• 기울기 결정 트리 훈련에 내재된 비미분 가능하고 조합 최적화 문제를 해결하기 위해 이를 기울기 기반 신경 아키텍처로 재구성한다.
• 나무의 분기 노드와 잎사귀 간의 매개변수 공유를 가능하게 하기 위해 압축된 신경 표현을 통해 나무 구조의 명시적 복잡도를 줄인다.
• DropConnect와 기울기 기반 최적화와 같은 딥러닝 도구를 활용하면서도 암묵적으로 트리 모델을 훈련시켜 일반화 능력과 성능을 향상시킨다.
• 신경 기반 표현이 기존의 고전적 트리 훈련 방법과 표준 앙상블 모델보다 표본 및 분자 데이터셋에서 더 뛰어난 성능을 내는가를 입증한다.

제안 방법

• 핵심 아이디어는 결정 트리에서처럼 조각별로 일정한 함수를 ReLU 네트워크의 국소적으로 일정한 기울기를 통해 표현하는 것이다. 이 기울기는 조각별로 선형인데, 이러한 특성을 활용한다.
• 국소적으로 일정한 네트워크(LCN)는 입력에 대한 ReLU 네트워크의 기울기로 정의되며, 네트워크의 각 선형 영역 내에서 기울기가 일정하다.
• 저자들은 LCN의 클래스가 수학적으로 기울기 결정 트리의 클래스와 동일하다는 것을 증명하여, 신경 기울기와 결정 트리 구조 사이의 공식적인 대응 관계를 확립한다.
• 기울기 기반 훈련을 가능하게 하기 위해 ReLU 활성화 함수를 부드럽게 냉각(예: 온도 파라미터 사용)하여 최적화 중 연속적인 기울기를 확보한다.
• 단일 순방향 전파로 모든 뉴런의 입력에 대한 기울기를 효율적으로 계산하기 위해 동적 프로그래밍 알고리즘을 개발하여 핵심 계산 병목 현상을 해결한다.
• 확장 기능으로는 정규화를 위한 DropConnect를 포함한 Alcn, 활성화 함수를 교체할 수 있는 Lln, 그리고 다수의 LCN을 조합한 Elcn이 있으며, 이는 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 ReLU 네트워크의 기울기를 사용하여 기울기 결정 트리를 암묵적으로 표현할 수 있으며, 이 표현이 표준 결정 트리 수식과 동일한가?
• RQ2 기울기 결정 트리 훈련의 비미분 가능하고 조합 최적화 문제는 어떻게 기울기 기반 신경 아키텍처로 완화될 수 있는가?
• RQ3 신경 표현에서 결정 노드와 잎사귀 간의 매개변수 공유가 명시적 트리 표현에 비해 필요한 매개변수 수를 얼마나 줄이는가?
• RQ4 DropConnect와 같은 딥러닝 정규화 기법은 암묵적 트리 학습에 효과적으로 적용될 수 있으며, 일반화 능력을 향상시키는가?
• RQ5 제안된 결정 트리의 신경 표현은 분자 성질 예측 작업에서 기존의 기울기 트리 훈련 방법과 표준 트리 앙상블보다 뛰어나게 성능을 냈는가?

주요 결과

• 제안된 국소적으로 일정한 네트워크(LCN)는 분자 성질 분류 및 회귀 작업에서 최신 기술 수준의 성능을 달성하여 CART, Hhcart, Tao, 랜덤 포레스트, 기울기 부스팅을 포함한 모든 베이스라인을 능가한다.
• DropConnect를 통합한 확장형 Alcn은 LCN 대비 일반화 능력이 뛰어나지 않게 향상되며, 암묵적 트리 학습 환경에서 확률적 가중치 드롭아웃의 정규화 효과를 입증한다.
• 다수의 LCN을 조합한 앙상블 방법인 Elcn은 랜덤 포레스트나 기울기 부스팅과 경쟁 가능한 성능을 보이며, 특히 깊은 트리에서 일반화 능력이 뛰어나다.
• 실증적 아블레이션 결과, 기울기 냉각 없이 직접 훈련하는 것은 LCN의 최적화를 실패로 이끌지만, 냉각과 DropConnect를 조합하면 훈련 및 테스트 성능이 뛰어나지 않게 향상된다.
• HIV 데이터셋에서 LCN은 경쟁자들보다 일반화 능력이 뛰어나며, 트리 깊이가 증가할수록 성능이 향상된다—이는 뉴런 수 M만으로 최대 2^M개의 결정 노드를 실현할 수 있기 때문이다.
• 훈련된 LCN을 다시 명시적인 기울기 결정 트리로 변환함으로써 완전한 해석 가능성을 확보할 수 있으며, 고전적 결정 트리의 투명성과 딥러닝 수준의 성능을 동시에 유지한다.