[論文レビュー] Neural Decision Trees

Randall Balestriero|arXiv (Cornell University)|Feb 23, 2017

Neural Networks and Applications参考文献 27被引用数 19

ひとこと要約

この論文は、従来の分割ノードを多層パーセプトロン（MLP）に置き換えることで、決定木とニューラルネットワークを統合する微分可能アーキテクチャ、Neural Decision Trees（NDT）を紹介する。これにより、グローバル最適化とエンド・ツー・エンドの学習が可能になる。フレームワークは、任意の非線形意思決定境界を学習することで、分類に必要なパラメータ数を（ソフトマックスの）Cからlog₂(C)に削減するハッシングニューラルネットワーク（HNN）の定式化により、優れたモデリング能力を実現する。

ABSTRACT

In this paper we propose a synergistic melting of neural networks and decision trees (DT) we call neural decision trees (NDT). NDT is an architecture a la decision tree where each splitting node is an independent multilayer perceptron allowing oblique decision functions or arbritrary nonlinear decision function if more than one layer is used. This way, each MLP can be seen as a node of the tree. We then show that with the weight sharing asumption among those units, we end up with a Hashing Neural Network (HNN) which is a multilayer perceptron with sigmoid activation function for the last layer as opposed to the standard softmax. The output units then jointly represent the probability to be in a particular region. The proposed framework allows for global optimization as opposed to greedy in DT and differentiability w.r.t. all parameters and the input, allowing easy integration in any learnable pipeline, for example after CNNs for computer vision tasks. We also demonstrate the modeling power of HNN allowing to learn union of disjoint regions for final clustering or classification making it more general and powerful than standard softmax MLP requiring linear separability thus reducing the need on the inner layer to perform complex data transformations. We finally show experiments for supervised, semi-suppervised and unsupervised tasks and compare results with standard DTs and MLPs.

研究の動機と目的

• 貪欲で微分不能な決定木の限界を克服し、微分可能でエンド・ツー・エンドで学習可能なアーキテクチャを用いて深層学習と統合すること。
• 多層パーセプトロンを用いた微分可能なハッシング機構として意思決定プロセスを定式化することで、木構造のグローバル最適化を可能にすること。
• クラス領域をハッシングニューラルネットワーク（HNN）でモデル化することで、分類に必要なパラメータ数を（標準的なソフトマックスの）Cからlog₂(C)に削減すること。
• 多層の分割ノードにより任意の非線形意思決定関数を許容することで、一般化性能とモデリング能力を向上させること。
• 畳み込みニューラルネットワーク（CNN）などの深層学習パイプラインへのシームレスな統合を可能にし、半教師ありクラスタリングなどのタスクに応用すること。

提案手法

• 各決定木の分割ノードを独立した多層パーセプトロン（MLP）に置き換え、軸に沿わないまたは線形でない意思決定関数を可能にする。
• すべてのMLPノードに重み共有を適用してハッシングニューラルネットワーク（HNN）を構築し、最終層にはソフトマックスの代わりにシグモイド活性化関数を用いる。
• HNNの出力を、入力が特定の領域に属する確率として定義し、最終層が領域全体の確率分布を共同で表現するようにする。
• 葉ノードの予測のエントロピーを最小化するグローバル損失関数を用いて、全パラメータをエンド・ツー・エンドで同時に最適化する。
• パrameterおよび入力に関する微分可能性を活用して、畳み込み特徴を含む任意の微分可能な機械学習パイプラインへの統合を可能にする。
• HNNが入力空間における互いに素な領域の集合を学習できることを活かし、隠れ層での複雑な特徴変換の必要性を低減し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分割ノードを多層パーセプトロンに置き換えることで、微分可能でグローバルに最適化可能な決定木アーキテクチャを構築できるか？
• RQ2 提案されたNeural Decision Tree（NDT）は、標準的な決定木やMLPと比較して、パrameter効率性とモデリング能力の面でどのように異なるか？
• RQ3 HNNの定式化により、標準的なソフトマックスベースのMLPと比較して、分類に必要なニューロン数はどの程度削減されるか？
• RQ4 NDTの微分可能性は、CNN特徴を含む深層学習パイプラインへの有効な統合を可能にするか？
• RQ5 任意の非線形意思決定境界を学習できる能力が、教師なしおよび半教師あり学習タスクでの性能向上に寄与するか？

主な発見

• 提案されたNeural Decision Tree（NDT）は、エンド・ツー・エンドの微分可能学習により、貪欲な決定木学習で一般的に見られる局所最適解の問題を回避し、木構造のグローバル最適化を実現する。
• HNNの定式化により、Cクラス分類に必要な最小ニューロン数が（ソフトマックスの）Cからlog₂(C)に削減され、パrameter効率が顕著に向上する。
• 教師あり・半教師あり・教師なしタスクにおいて優れた性能を示し、実験では標準的な決定木やMLPと比較して、クラスタリングおよび分類性能が向上している。
• モデルの微分可能性により、CNN特徴とNDTを組み合わせた堅牢な半教師ありクラスタリングに応用可能な深層学習パイプラインへのシームレスな統合が可能である。
• HNNは入力空間における任意の非交差領域の集合を学習でき、隠れ層での複雑なデータ変換の必要性を低減し、一般化性能を向上させる。
• 実験では、4ニューロンのHNNが複雑な意思決定境界を効果的にモデル化できており、図16〜18に示すように、損失関数と正則化の学習ダイナミクスが時間経過とともに安定することが確認された。