[논문 리뷰] Neural Decision Trees

Randall Balestriero|arXiv (Cornell University)|2017. 02. 23.

Neural Networks and Applications참고 문헌 27인용 수 19

한 줄 요약

이 논문은 다층퍼셉트론(MLP)으로 전통적인 분할 노드를 대체함으로써 디시전 트리와 신경망을 유일하게 통합하는 가중치 미분 가능한 아키텍처인 신경 디시전 트리(NDT)를 소개한다. 이는 전역 최적화와 엔드 투 엔드 학습을 가능하게 하며, 임의의 비선형 결정 경계를 학습함으로써 모델링 능력을 향상시키고, 해싱 신경망(HNN) 구조를 통해 분류에 필요한 파라미터 수를 C(소프트맥스)에서 log₂(C)로 감소시킨다.

ABSTRACT

In this paper we propose a synergistic melting of neural networks and decision trees (DT) we call neural decision trees (NDT). NDT is an architecture a la decision tree where each splitting node is an independent multilayer perceptron allowing oblique decision functions or arbritrary nonlinear decision function if more than one layer is used. This way, each MLP can be seen as a node of the tree. We then show that with the weight sharing asumption among those units, we end up with a Hashing Neural Network (HNN) which is a multilayer perceptron with sigmoid activation function for the last layer as opposed to the standard softmax. The output units then jointly represent the probability to be in a particular region. The proposed framework allows for global optimization as opposed to greedy in DT and differentiability w.r.t. all parameters and the input, allowing easy integration in any learnable pipeline, for example after CNNs for computer vision tasks. We also demonstrate the modeling power of HNN allowing to learn union of disjoint regions for final clustering or classification making it more general and powerful than standard softmax MLP requiring linear separability thus reducing the need on the inner layer to perform complex data transformations. We finally show experiments for supervised, semi-suppervised and unsupervised tasks and compare results with standard DTs and MLPs.

연구 동기 및 목표

• 탐욕적이고 미분 불가능한 디시전 트리의 한계를 극복하기 위해, 가중치 미분 가능한 엔드 투 엔드 학습 가능한 아키텍처를 통해 딥러닝과 통합한다.
• 다층퍼셉트론을 사용한 가중치 미분 가능한 해싱 메커니즘으로 결정 과정을 정의함으로써 트리 구조의 전역 최적화를 가능하게 한다.
• 해싱 신경망(HNN)을 통해 클래스 영역을 모델링하여 C-클래스 분류에 필요한 파라미터 수를 표준 소프트맥스의 C에서 log₂(C)로 감소시킨다.
• 다층 분할 노드를 통해 임의의 비선형 결정 함수를 허용함으로써 일반화 능력과 모델링 능력을 향상시킨다.
• CNN 등과 같은 딥러닝 파이프라인에 원활하게 통합할 수 있도록 한다. 예를 들어 준지도학습 클러스터링과 같은 과제에 적용한다.

제안 방법

• 각 디시전 트리 분할 노드를 독립적인 다층퍼셉트론(MLP)으로 대체하여 축에 수직이거나 선형인 분할 대신 기울인(오블리크) 및 비선형 결정 함수를 허용한다.
• 모든 MLP 노드 간에 가중치 공유를 적용하여 해싱 신경망(HNN)을 구성하며, 최종 레이어는 소프트맥스 대신 시그모이드 활성화를 사용한다.
• HNN의 출력을 특정 영역에 속할 입력의 확률로 정의하며, 최종 레이어는 영역 간 확률 분포를 공동으로 표현한다.
• 모든 파라미터의 공동 최적화를 가능하게 하기 위해 엽면 예측의 엔트로피를 최소화하는 전역 손실 함수를 사용하여 전체 아키텍처를 엔드 투 엔드로 학습시킨다.
• 모델의 가중치 및 입력에 대해 가중치 미분 가능성을 활용하여, 컨볼루션 특징을 포함한 어떤 가중치 미분 가능한 머신러닝 파이프라인에도 통합 가능하다.
• HNN이 입력 공간 내 이산 영역의 임의의 합집합을 학습할 수 있음을 활용하여 내부 레이어에서 복잡한 특징 변환의 필요성을 줄이고 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다층퍼셉트론으로 분할 노드를 대체함으로써 가중치 미분 가능하고 전역 최적화 가능한 디시전 트리 아키텍처를 구축할 수 있는가?
• RQ2 제안된 신경 디시전 트리(NDT)는 표준 디시전 트리 및 MLP와 비교해 파라미터 효율성과 모델링 능력 측면에서 어떻게 다른가?
• RQ3 HNN 구조는 표준 소프트맥스 기반 MLP에 비해 분류에 필요한 뉴런 수를 얼마나 줄이는가?
• RQ4 NDT의 가중치 미분 가능성은 CNN 특징를 사용하는 딥러닝 파이프라인에 효과적으로 통합할 수 있는가?
• RQ5 임의의 비선형 결정 경계를 학습할 수 있는 능력이 비지도 및 준지도 학습 과제에서 성능 향상에 기여하는가?

주요 결과

• 제안된 신경 디시전 트리(NDT)는 엔드 투 엔드 가중치 미분 가능한 학습을 통해 트리 구조의 전역 최적화를 달성하여, 기존 탐욕적 디시전 트리 학습에서 흔히 발생하는 국소 최적해 문제를 피할 수 있다.
• HNN 구조는 C-클래스 분류에 필요한 최소 뉴런 수를 표준 소프트맥스의 C에서 log₂(C)로 감소시켜 파라미터 효율성을 크게 향상시킨다.
• 실험 결과, 지도학습, 준지도학습, 비지도학습 과제에서 뛰어난 성능을 보이며, 표준 디시전 트리 및 MLP와 비교해 더 나은 클러스터링 및 분류 결과를 얻었다.
• 모델의 가중치 미분 가능성 덕분에 CNN 특징와 함께 NDT를 사용하는 강력한 준지도학습 클러스터링에 원활하게 통합 가능하다.
• HNN는 입력 공간 내 이산 영역의 임의의 합집합을 학습할 수 있어 내부 레이어에서 복잡한 데이터 변환의 필요성을 줄이고 일반화 능력을 향상시킨다.
• 실험 결과, 4개의 뉴런을 가진 HNN가 복잡한 결정 경계를 효과적으로 모델링할 수 있었으며, 그림 16~18에서 보듯이 손실 및 정규화 동역학이 시간이 지남에 따라 안정화됨을 확인했다.