[論文レビュー] Adaptive Neural Trees

Ryutaro Tanno, Kai Arulkumaran+3 more|arXiv (Cornell University)|Jul 17, 2018

Explainable Artificial Intelligence (XAI)被引用数 24

ひとこと要約

Adaptive Neural Trees (ANTs) は、ニューラルルーティングとリーフ関数を通じて階層的表現を学習し、誤差逆伝播に基づく学習によってアーキテクチャを段階的に拡張することで、深層ニューラルネットワークと意思決定木を統合する。ANTs は、SARCOS（最小MSE）、MNIST（99%以上の精度）、CIFAR-10（90%以上の精度）で最先端の性能を達成し、軽量な推論とデータに適応する複雑さを実現する。

ABSTRACT

Deep neural networks and decision trees operate on largely separate paradigms; typically, the former performs representation learning with pre-specified architectures, while the latter is characterised by learning hierarchies over pre-specified features with data-driven architectures. We unite the two via adaptive neural trees (ANTs) that incorporates representation learning into edges, routing functions and leaf nodes of a decision tree, along with a backpropagation-based training algorithm that adaptively grows the architecture from primitive modules (e.g., convolutional layers). We demonstrate that, whilst achieving competitive performance on classification and regression datasets, ANTs benefit from (i) lightweight inference via conditional computation, (ii) hierarchical separation of features useful to the task e.g. learning meaningful class associations, such as separating natural vs. man-made objects, and (iii) a mechanism to adapt the architecture to the size and complexity of the training dataset.

研究の動機と目的

• 深層ニューラルネットワーク（表現学習の強み）と意思決定木（構造的・スパースな推論の強み）の利点を統合した1つのモデルを構築すること。
• 学習可能なルーティング関数と階層的特徴共有を備えた、木構造のエンドツーエンド微分可能なトレーニングを可能にすること。
• データセットのサイズと複雑さに基づいて、ネットワークの深さを増やすか、データを分割するかを適応的に制御する誤差逆伝播に基づくトレーニングアルゴリズムを開発すること。
• 各入力に対して1つのルートからリーフへのパスのみをアクティブ化する条件付き計算により、軽量な推論を実現すること。
• ANTs が自然対人工物といった意味的に意味のある階層的データグループ化を学習できることを示すこと。

提案手法

• 意思決定木のルーティング意思決定とリーフ計算をニューラルネットワークとして表現し、両方のパラメータと構造の勾配ベース最適化を可能にする。
• 異なる微分可能な損失関数に従って、木の拡張（深さの追加）とデータの分割（ノードの分割）を交互に実行する段階的トレーニング戦略を採用する。
• すべてのパラメータ（ルーター確率を含む）をグローバルに最適化するリファイニング段階を導入し、一般化性能の向上と非効果的な分岐のプルーニングを実現する。
• 木構造全体を通りがけに誤差逆伝播を適用し、アーキテクチャとニューラルコンponentの両方をエンドツーエンドでトレーニング可能にする。
• 畳み込み層などのプリミティブモジュールを構築ブロックとして用い、データの可用性に応じてアーキテクチャが適応的に拡張されるようにする。
• リファイニング段階でルーター確率を極性化し、使用されていない分岐を効果的にプルーニングすることで、精度を損なわずモデルの複雑さを低減する。

実験結果

リサーチクエスチョン

• RQ1 統合モデルは、深層ニューラルネットワークの階層的表現学習と意思決定木の構造的・スパースな推論を併せ持てるか？
• RQ2 データの複雑さに従って適応的にアーキテクチャを拡張することは、固定アーキテクチャモデルに比べてより良い一般化性能をもたらすか？
• RQ3 ANTs は自然対人工物といった意味的に意味のある階層的データグループ化を学習できるか？
• RQ4 ルーター確率のグローバルリファイニングは一般化性能の向上と不要な分岐の有効なプルーニングを可能にするか？
• RQ5 ANTs の性能は、回帰および画像分類の最先端モデルと比較してどうか、特に小規模データセットにおいては？

主な発見

• ANTs は SARCOS 多変量回帰データセットで最小の平均二乗誤差を達成し、他の木ベースのモデルを上回った。
• MNIST では 99% 以上のテスト精度を達成し、最先端のランダムフォレストや勾配ブースティング木を上回った。
• CIFAR-10 では 90% 以上の精度を達成し、軽量なアーキテクチャにもかかわらず画像分類で強力な性能を示した。
• リファイニング段階により一般化性能が向上した：すべてのモデルがグローバル最適化後により高いテスト精度に収束し、検証データでたった 0.09% の頻度でのみ訪問された分岐をプルーニングしたモデルでは一般化誤差が低下した。
• ANTs はデータセットのサイズに応じてモデルの複雑さを適応的に調整した：小規模なデータセットではより単純でコンパクトなモデルが得られ、固定サイズの All-CNN モデルで見られる過学習を回避した。
• MNIST での最終モデルは、入力ピクセルの線形分類器とほぼ同じ数のパラメータを有しながら、98% 以上の精度を達成し、効率性と表現力の両立を示した。