[논문 리뷰] Learning Binary Decision Trees by Argmin Differentiation

Valentina Zantedeschi, Matt J. Kusner외 1명|arXiv (Cornell University)|2020. 10. 09.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 argmin 미분을 사용하여 이진 결정 트리의 학습을 미분 가능하게 하는 방법을 제안하며, 기울기 하강을 통한 끝에서 끝까지의 트리 구조 및 분할 파라미터 학습을 가능하게 한다. 이 방법은 다양한 테이블 기반 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여, CART와 CART-UMD보다 정확도 및 오차 감소에서 뚜렷한 우월성을 보이며, 복잡한 미분 가능 아키텍처와 최적화 과정으로 인해 더 긴 학습 시간이 소요된다.

ABSTRACT

We address the problem of learning binary decision trees that partition data for some downstream task. We propose to learn discrete parameters (i.e., for tree traversals and node pruning) and continuous parameters (i.e., for tree split functions and prediction functions) simultaneously using argmin differentiation. We do so by sparsely relaxing a mixed-integer program for the discrete parameters, to allow gradients to pass through the program to continuous parameters. We derive customized algorithms to efficiently compute the forward and backward passes. This means that our tree learning procedure can be used as an (implicit) layer in arbitrary deep networks, and can be optimized with arbitrary loss functions. We demonstrate that our approach produces binary trees that are competitive with existing single tree and ensemble approaches, in both supervised and unsupervised settings. Further, apart from greedy approaches (which do not have competitive accuracies), our method is faster to train than all other tree-learning baselines we compare with. The code for reproducing the results is available at https://github.com/vzantedeschi/LatentTrees.

연구 동기 및 목표

• 기존에 이산적 결정으로 인해 미분 불가능한 이진 결정 트리의 기울기 기반 최적화를 통한 끝에서 끝까지의 학습 문제를 해결하기 위해.
• 분할 결정에 대한 argmin 연산의 미분 가능 릴랙세이션을 통해 결정 트리 내 복잡한 비선형 분할을 학습할 수 있도록 하기 위해.
• 등온 제약 조건과 이차 정규화를 도입하여 트리 학습을 미분 가능한 최적화 문제로 재구성함으로써, 테이블 데이터셋에서의 일반화 및 성능 향상을 위해.
• CART와 같이 탐욕적이고 미분 불가능한 분할 히وري스틱에 의존하는 전통적 트리 유도 방법에 대한 확장 가능한 미분 가능 대안을 제공하기 위해.

제안 방법

• 샘플의 트리 내 경로를 분할 점수에 대한 argmin 연산으로 표현함으로써, 은닉 미분을 통한 트리 구조를 통한 역전파를 가능하게 한다.
• 동점( tie-breaking )을 위해 작은 상수 ε를 사용하는 argmin 함수의 미분 가능 릴랙세이션을 도입하여, 분할 점수가 0일 경우에도 기울기가 트리 전반에 흐르도록 보장한다.
• 경로 확률에 대한 단조성 제약 조건을 강제하기 위해 등온 최적화를 사용함으로써 학습 안정성과 일반화 성능을 향상시킨다.
• 과적합 방지를 위해 분할 점수에 이차 정규화 항을 적용하여 최적화 수렴 성능을 향상시킨다.
• 모델은 확률적 기울기 하강법을 사용하여 학습되며, 최종 헤드 네트워크 $ f_{oldsymbol{ heta}} $ 는 트리 구조와 함께 동시에 학습된다.
• ELU와 같은 활성화 함수를 통해 비선형 분할을 지원함으로써, 복잡한 축에 수직이 아닌 결정 경계를 학습할 수 있다.

실험 결과

연구 질문

• RQ1 트리 경로에서 다음 노드를 선택하는 데 사용되는 argmin 연산을 미분함으로써, 기울기 하강법을 통한 이진 결정 트리의 끝에서 끝까지의 학습이 가능한가?
• RQ2 기존의 CART 및 무한정 CART(CART-UMD)와 비교하여, 표준 테이블 기반 벤치마크 데이터셋에서 미분 가능한 결정 트리의 성능은 어떠한가?
• RQ3 기존의 트리 유도 방법과 비교해 볼 때, 미분 가능한 트리 아키텍처는 일반화 및 오차율 향상에 얼마나 기여하는가?
• RQ4 네트워크 깊이 및 정규화와 같은 하이퍼파라미터는 모델 성능과 학습 시간에 어떤 영향을 미치는가?
• RQ5 이 방법은 비선형, 기울어진 분할을 효과적으로 학습할 수 있으며, 축에 수직인 분할에 의존하는 방법과 비교해 볼 때 어떤가?

주요 결과

• HIGGS 데이터셋에서 제안된 방법은 테스트 오차 $ 0.2201 imes 10^{-3} $ 를 달성하여, CART($ 0.3220 imes 10^{-3} $) 및 CART-UMD($ 0.3430 imes 10^{-3} $) 보다 뚜렷한 우월성을 보였다.
• MICROSOFT 데이터셋에서는 CART의 오차 $ 0.3220 imes 10^{-3} $ 를 $ 0.2201 imes 10^{-3} $ 로 감소시켜 모든 데이터셋에서 일관된 성능 향상을 보였다.
• HIGGS에서의 마이크로 F1 스코어는 $ 77.9\% $ 로, CART와 CART-UMD의 $ 97.4\text{ and }96.0\text{\%} $ 와 비교해도 높은 훈련 비용에도 불구하고 더 우수한 일반화 성능을 보였다.
• 학습 시간은 상당히 길었으며, HIGGS에서 $ 18,642 $ 초가 소요되었지만, 이는 더 나은 테스트 성능로 상쇄되었다.
• 학습 중 약 $ 45\text{--}55\text{\%} $ 의 노드가 활성화되어 안정적인 수렴을 보이며, 효과적인 기울기 흐름과 모델 안정성을 시사했다.
• COVTYPE에서 분리하기 어려운 클래스들(예: 클래스 4와 6)에 대해서도 잘 일반화됨을 보여, 레이블 노이즈와 데이터 복잡성에 대해 강인함을 시사했다.