[논문 리뷰] The Tree Ensemble Layer: Differentiability meets Conditional Computation

Hussein Hazimeh, Natalia Ponomareva외 3명|arXiv (Cornell University)|2020. 02. 18.

Advanced Neural Network Applications참고 문헌 25인용 수 16

한 줄 요약

이 논문은 신경망 내에서 진정한 조건부 계산을 가능하게 하는, 미분 가능한 결정 트리 기반의 레이어인 트리 엔semble 레이어(Tree Ensemble Layer, TEL)를 소개한다. TEL은 희소이고 스무스 스텝 활성화 함수를 통해 효율적인 샘플 별 라우팅을 구현하고, 최적화된 순방향/역방향 전파를 제공한다. TEL은 이전의 미분 가능한 트리보다 10배 이상 빠른 속도를 달성하고 기존 기울기 부스팅 트리 대비 모델 크기를 20배 줄이며, 경쟁 가능한 성능을 유지하면서 깊이 있는 네트워크와 넓은 트리 앙상블의 공동 최적화를 가능하게 한다.

ABSTRACT

Neural networks and tree ensembles are state-of-the-art learners, each with its unique statistical and computational advantages. We aim to combine these advantages by introducing a new layer for neural networks, composed of an ensemble of differentiable decision trees (a.k.a. soft trees). While differentiable trees demonstrate promising results in the literature, they are typically slow in training and inference as they do not support conditional computation. We mitigate this issue by introducing a new sparse activation function for sample routing, and implement true conditional computation by developing specialized forward and backward propagation algorithms that exploit sparsity. Our efficient algorithms pave the way for jointly training over deep and wide tree ensembles using first-order methods (e.g., SGD). Experiments on 23 classification datasets indicate over 10x speed-ups compared to the differentiable trees used in the literature and over 20x reduction in the number of parameters compared to gradient boosted trees, while maintaining competitive performance. Moreover, experiments on CIFAR, MNIST, and Fashion MNIST indicate that replacing dense layers in CNNs with our tree layer reduces the test loss by 7-53% and the number of parameters by 8x. We provide an open-source TensorFlow implementation with a Keras API.

연구 동기 및 목표

• 딥 네트워크 아키텍처 내에서 미분 가능한 결정 트리를 엔드 투 엔드로 훈련시킬 수 있도록, 신경망과 트리 앙상블의 장점을 융합하는 것.
• 기존의 미분 가능한 트리들이 가지는 계산 비효율성을 해결하기 위해, 희소 라우팅을 통한 진정한 조건부 계산을 도입하는 것.
• 기울기 부스팅 트리에서의 탐욕적이고 단계적인 훈련 방식의 한계를 극복하기 위해, SGD와 같은 1차 최적화 방법을 사용해 깊이 있는 네트워크와 넓은 트리 앙상블을 공동으로 최적화하는 것.
• 특히 시각 및 표본 데이터 학습 과제에서 예측 성능을 훼손하지 않으면서 모델 크기를 줄이고 추론 효율성을 향상시키는 것.

제안 방법

• 기존 트리의 행동을 모방하는 샘플 별 라우팅을 가능하게 하는 새로운 스무스 스텝 활성화 함수를 제안한다.
• 희소성을 활용하여 최적의 시간 복잡도를 달성하는 전용 순방향 및 역방향 전파 알고리즘을 설계하며, 역방향 전파의 복잡도가 트리 깊이에 독립적임을 보장한다.
• 기울기 기반 최적화를 통해 신경망의 나머지 부분과 함께 엔드 투 엔드로 훈련 가능한, 소프트 트리의 미분 가능한 앙상블(이하 소프트 트리)을 도입한다.
• SGD와 같은 1차 최적화 방법을 사용해 앙상블 내 모든 트리의 내부 노드 결정과 리프 가중치를 공동으로 업데이트함으로써, 압축적이고 표현력 있는 모델을 구현한다.
• CNN을 포함한 신경망에 플러그인 레이어로 TEL을 구현하고, 실용적 구현을 위한 Keras 호환 TensorFlow API를 제공한다.
• 각 입력 샘플이 트리 아키텍처의 작은 부분집합만을 통해 이동할 수 있도록 하는 미분 가능한 라우팅 메커니즘을 구현하여 조건부 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 진정한 조건부 계산을 통해, 미분 가능한 결정 트리가 딥 네트워크 내에서 공동 최적화에 충분히 효율적이게 만들 수 있는가?
• RQ2 미분 가능한 트리에 조건부 계산을 도입하면, 이전 방법 대비 훈련 및 추론 속도에서 뚜렷한 향상이 이루어지는가?
• RQ3 1차 최적화 방법을 통한 깊이 있는 네트워크와 넓은 트리 앙상블의 공동 최적화가 기울기 부스팅 트리의 단계적 훈련 방식에 비해 더 압축적이고 정확한 모델을 도출할 수 있는가?
• RQ4 TEL이 CNN 내의 밀집 레이어를 얼마나 효과적으로 대체할 수 있는가? 파rameter 감소와 테스트 손실 향상 정도는 어떠한가?
• RQ5 TEL과 기울기 부스팅 트리 간에 트리 수와 같은 하이퍼파ram터에 대한 모델 성능 민감도는 어떻게 비교되는가?

주요 결과

• 23개의 분류 데이터셋에서 TEL은 효율적인 희소 라우팅과 최적화된 역전파 덕분에 기존의 미분 가능한 트리 방법 대비 훈련 및 추론 속도에서 10배 이상의 성능 향상을 달성한다.
• 동일한 데이터셋에서 TEL은 기울기 부스팅 트리 대비 모델 크기를 20배 이상 줄였으며, 경쟁 가능한 AUC 성능 유지를 유지한다.
• Pima, Heart-C, Spambase 데이터셋에서 TEL은 오직 5개의 트리로 최고의 AUC를 달성하는 반면, GBDT는 유사한 성능을 얻기 위해 100개 이상의 트리가 필요함을 보여주며, 훨씬 더 우수한 압축성과 효율성을 입증한다.
• CNN에서 밀집 레이어를 TEL로 대체하면, CIFAR-10, MNIST, Fashion-MNIST에서 테스트 손실이 7~53% 감소하고 모델 파라미터 수는 약 8배 감소한다. 특히 CIFAR와 Fashion-MNIST에서 통계적으로 유의미한 성능 향상이 관찰된다.
• TEL은 GBDT에 비해 트리 수에 대한 성능 민감도가 낮아, 공동 최적화 하에서 더 안정적이고 강건한 학습을 보인다.
• 오픈소스 TensorFlow 구현과 Keras API 덕분에, TEL은 표본 데이터 및 시각 과제 모두에 실용적으로 딥러닝 파이프라인에 통합할 수 있다.