[논문 리뷰] NDT: Neual Decision Tree Towards Fully Functioned Neural Graph

Han Xiao|arXiv (Cornell University)|2017. 12. 16.

Neural Networks and Applications참고 문헌 20인용 수 9

한 줄 요약

이 논문은 논리 기반 분기(예: if-else)와 학습 가능한 신경망을 통합하는 미분 가능한 신경 그래프 아키텍처인 신경 결정 트리(NDT)를 제안한다. Dirac 델타 함수를 연속적 근사(예: $1 - e^{-\alpha|x|}$)로 대체함으로써, 조건부로 정의된 변수를 통해 기울기 흐름을 가능하게 하여 복잡한 분기 신경 아키텍처의 엔드 투 엔드 학습을 가능하게 한다. 이 방법은 MNIST와 CIFAR-10에서 최신 기준 성능을 달성하여 효과성과 미분 가능성의 타당성을 입증한다.

ABSTRACT

Though traditional algorithms could be embedded into neural architectures with the proposed principle of \cite{xiao2017hungarian}, the variables that only occur in the condition of branch could not be updated as a special case. To tackle this issue, we multiply the conditioned branches with Dirac symbol (i.e. $\mathbf{1}_{x>0}$), then approximate Dirac symbol with the continuous functions (e.g. $1 - e^{-α|x|}$). In this way, the gradients of condition-specific variables could be worked out in the back-propagation process, approximately, making a fully functioned neural graph. Within our novel principle, we propose the neural decision tree extbf{(NDT)}, which takes simplified neural networks as decision function in each branch and employs complex neural networks to generate the output in each leaf. Extensive experiments verify our theoretical analysis and demonstrate the effectiveness of our model.

연구 동기 및 목표

• 논리 기반 분기(예: if-else)를 갖는 신경 아키텍처에서 조건부로 정의된 변수를 학습하는 데 도전하는 것. 이러한 변수들은 일반적으로 비가역적이다.
• 신경 그래프 프레임워크를 완전히 미분 가능하도록 확장하여 논리적 요소와 신경망 요소의 공동 최적화를 가능하게 하는 것.
• 가벼운 신경망을 분기 결정에 사용하고, 분류 정확도를 높이기 위해 잎 노드에 복잡한 네트워크를 사용하는 신경 결정 트리(NDT)를 설계하는 것.
• 신경 그래프가 트루스 컨피티블(튜링 완전)임을 입증하여 표준 딥 네트워크를 초월한 학습 가능한 계산이 가능함을 보여주는 것.

제안 방법

• 논리 흐름의 미분 가능한 근사를 위해 분기 출력에 Dirac 델타 함수($\mathbf{1}_{x>0}$)를 곱하는 방식을 도입하며, 이는 $1 - e^{-\alpha|x|}$와 같은 연속 함수로 근사된다.
• if-else와 같은 조건부 분기를, 이완된 Dirac 기호를 사용한 요소별 곱셈으로 분기 네트워크의 입력을 수정함으로써 재구성한다.
• 연속적 근사를 통해 분기 조건을 미분 가능하게 하여, 조건부로 정의된 변수를 통한 역전파를 가능하게 한다.
• 전방 전파 중에 동적으로 재구성 가능한 계산 그래프를 구축하며, 역방향 전파에서는 비분기적이고 연속적인 그래프로 변환하여 표준 기울기 계산을 수행한다.
• 분기에서 결정 함수로 단순화된 신경망을 사용하고, 잎 노드에서는 분류에 특화된 깊은 네트워크를 적용한다.
• 이미지 분류에 이 방법을 적용하며, 거시적 결정이 하위 네트워크로 샘플을 라우팅하는 계층적 구조를 사용한다.

실험 결과

연구 질문

• RQ1 논리 기반 제어 구조(예: if-else, 루프)가 신경망 내에서 완전히 미분 가능하게 만들 수 있는가? 이는 엔드 투 엔드 학습을 가능하게 한다.
• RQ2 조건부 분기 내에서만 정의된 변수는 역전파 중에 어떻게 업데이트할 수 있는가?
• RQ3 논리와 신경 계산을 결합한 신경 그래프 아키텍처가 튜링 완전하고 학습 가능한가?
• RQ4 계층적 라우팅을 갖는 신경 결정 트리를 통합하면, 표준 딥 네트워크에 비해 이미지 분류 과제에서 성능 향상이 이루어지는가?

주요 결과

• 제안된 방법은 $1 - e^{-\alpha|x|}$와 같은 연속적 근사를 통해 Dirac 델타 함수를 근사함으로써 조건부로 정의된 변수를 통한 기울기 흐름을 성공적으로 가능하게 하였다.
• 신경 결정 트리(NDT)는 MNIST와 CIFAR-10에서 베이스라인 모델을 능가하며, 계층적이고 분기 구조의 효과를 입증하였다.
• 신경 그래프 프레임워크가 튜링 완전하다는 것이 증명되었으며, 학습 가능한 튜링 머신을 구성할 수 있음을 보여주었다.
• 이 방법은 논리 기반 구성요소(예: 결정 트리)와 신경망의 공동 학습을 가능하게 하여, 이전 연구에서 이러한 변수가 학습이 불가능했던 핵심 제약을 극복하였다.
• 기존 알고리즘(예: 헝가리안 알고리즘, A* 탐색)을 미분 가능한 신경 아키텍처에 통합할 수 있도록 하였다.
• 모델는 벤치마크 데이터셋에서 최신 기준 성능을 달성하여, 신경 계산 내에서의 미분 가능한 논리의 이론적 이점이 확인되었다.