[論文レビュー] NDT: Neual Decision Tree Towards Fully Functioned Neural Graph

Han Xiao|arXiv (Cornell University)|Dec 16, 2017

Neural Networks and Applications参考文献 20被引用数 9

ひとこと要約

本稿では、論理的分岐（例：if-else）と学習可能なニューラルネットワークを統合する微分可能ニューラルグラフアーキテクチャであるニューラル意思決定木（NDT）を提案する。Diracデルタ関数を連続的リラクゼーション（例：$1 - e^{-\alpha|x|}$）で近似することで、条件付きで定義された変数を通過する勾配の流れを可能とし、複雑な分岐型ニューラルアーキテクチャのエンドツーエンド学習を実現する。MNISTおよびCIFAR-10において最先端の性能を達成し、その有効性と微分可能性を検証した。

ABSTRACT

Though traditional algorithms could be embedded into neural architectures with the proposed principle of \cite{xiao2017hungarian}, the variables that only occur in the condition of branch could not be updated as a special case. To tackle this issue, we multiply the conditioned branches with Dirac symbol (i.e. $\mathbf{1}_{x>0}$), then approximate Dirac symbol with the continuous functions (e.g. $1 - e^{-α|x|}$). In this way, the gradients of condition-specific variables could be worked out in the back-propagation process, approximately, making a fully functioned neural graph. Within our novel principle, we propose the neural decision tree extbf{(NDT)}, which takes simplified neural networks as decision function in each branch and employs complex neural networks to generate the output in each leaf. Extensive experiments verify our theoretical analysis and demonstrate the effectiveness of our model.

研究の動機と目的

• 論理的分岐（例：if-else）を伴うニューラルアーキテクチャにおける条件付きで定義された変数の学習の課題に対処すること。
• ニューラルグラフフレームワークを完全に微分可能に拡張し、論理的およびニューラルコンポonentの共同最適化を可能にすること。
• 分岐のための軽量ニューラルネットワークと分類のための複雑なネットワークを葉に使用するニューラル意思決定木（NDT）を設計すること。
• ニューラルグラフがチューリング完全であることを示し、標準的なディープニューラルネットワークを超えた学習可能な計算を可能にすること。

提案手法

• 論理的フローの微分可能リラクゼーションを導入し、分岐出力をDiracデルタ関数（$\mathbf{1}_{x>0}$）で乗算するが、これらを$1 - e^{-\alpha|x|}$などの連続関数で近似する。
• if-elseなどの条件分岐を、分岐ネットワークの入力をリラックスされたDirac記号で要素ごとの乗算で変更することで再定式化する。
• 分岐条件を連続的近似により微分可能にすることで、条件付きで定義された変数を通過するバックプロパゲーションを可能にする。
• 順伝播中に動的に再構成可能な計算グラフを構築し、逆伝播では非分岐的で連続的なグラフに変換することで、標準的な勾配計算を実現する。
• 分岐部では簡素化されたニューラルネットワークを意思決定関数として使用し、葉部では分類に特化した深いネットワークを採用する。
• 画像分類に応用し、粗い意思決定がサンプルを葉部の特別なサブネットワークにルーティングする階層的構造を採用する。

実験結果

リサーチクエスチョン

• RQ1 論理的制御構造（例：if-else、ループ）をニューラルネットワーク内で完全に微分可能にできるか？ これによりエンドツーエンド学習が可能になるか？
• RQ2 条件分岐内でのみ導入される変数は、バックプロパゲーション中にどのように更新できるか？
• RQ3 論理的計算とニューラル計算を統合したニューラルグラフアーキテクチャは、チューリング完全であり、学習可能であるか？
• RQ4 階層的ルーティングを備えたニューラル意思決定木を統合することで、標準的なディープニューラルネットワークと比較して画像分類タスクの性能が向上するか？

主な発見

• 提案手法は、$1 - e^{-\alpha|x|}$ などの連続的リラクゼーションによるDiracデルタ関数の近似により、条件付きで定義された変数を通過する勾配の流れを成功裏に実現した。
• ニューラル意思決定木（NDT）は、MNISTおよびCIFAR-10でベースラインモデルを上回り、階層的で分岐型アーキテクチャの有効性を示した。
• ニューラルグラフフレームワークがチューリング完全であることが証明され、学習可能なチューリングマシンの構築が可能となった。
• 本手法により、論理的コンポーネント（例：意思決定木）とニューラルネットワークの共同学習が可能となり、従来の研究で未学習であった変数の制限を克服した。
• 本アプローチにより、伝統的なアルゴリズム（例：ハンガリアン法、A*探索）を微分可能なニューラルアーキテクチャに埋め込むことが可能になった。
• ベンチマークデータセットで最先端の性能を達成し、ニューラル計算における微分可能論理の理論的利点が確認された。