[論文レビュー] Deep differentiable forest with sparse attention for the tabular data

Yingshi Chen|arXiv (Cornell University)|Feb 29, 2020

Advanced Neural Network Applications参考文献 19被引用数 4

ひとこと要約

この論文では、表形式データ向けにスパースなアテンションを備えた深層微分可能フォレストを提案する。決定木の解釈可能性とニューラルネットワークの最適化能力を組み合わせたもので、アテンション重みのデータに適した初期化によってスパarsityを強制することで、XGBoostを上回る高い精度を達成するとともに、勾配ベースの学習に完全に微分可能である。

ABSTRACT

We present a general architecture of deep differentiable forest and its sparse attention mechanism. The differentiable forest has the advantages of both trees and neural networks. Its structure is a simple binary tree, easy to use and understand. It has full differentiability and all variables are learnable parameters. We would train it by the gradient-based optimization method, which shows great power in the training of deep CNN. We find and analyze the attention mechanism in the differentiable forest. That is, each decision depends on only a few important features, and others are irrelevant. The attention is always sparse. Based on this observation, we improve its sparsity by data-aware initialization. We use the attribute importance to initialize the attention weight. Then the learned weight is much sparse than that from random initialization. Our experiment on some large tabular dataset shows differentiable forest has higher accuracy than GBDT, which is the state of art algorithm for tabular datasets. The source codes are available at https://github.com/closest-git/QuantumForest

研究の動機と目的

• 決定木の解釈可能性とニューラルネットワークの最適化能力を統合した、深く微分可能な意思決定フォレストアーキテクチャの開発。
• 微分可能フォレストにおけるアテンション機構を特定・活用し、各決定において僅か数個の特徴量が支配的であることを特定する。
• 特徴量重要度を用いた初期化により、不要な特徴量のプルーニングを促進することで、モデルのスパarsityを向上させる。
• 大規模な表形式データセットにおいて、最先端の勾配ブースティング決定木（GBDT）を上回ることを目的とする。
• 微分可能なコンponentsを介して、勾配降下法によるエンドツーエンドの学習が可能な、木ベースのモデルの訓練を可能にする。

提案手法

• 学習可能な重みでパrameter化された微分可能な意思決定関数を用いた、シンプルな二分木構造を採用する。
• 木の各スプリットは、重み付き特徴量に微分可能なシグモイド関数を適用することで計算され、バックプロパゲーションが可能になる。
• アテンションは、各ノードごとに特徴量のスパース選択としてモデル化され、決定に顕著に寄与するのは僅か数個の特徴量に限られる。
• 事前に訓練された木からの特徴量重要度スコアを用いてアテンション重みを初期化することで、スパarsityが向上し、無関係な特徴量のプルーニングが早期に促進される。
• 全アーキテクチャは、勾配ベースの最適化を用いた標準的なバックプロパゲーションにより学習される。
• 全パラメータにわたる完全な微分可能性を備え、エンドツーエンドの学習が表形式データで可能になる。

実験結果

リサーチクエスチョン

• RQ1 微分可能な意思決定フォレストアーキテクチャは、表形式データにおいて従来の勾配ブースティング木を上回る精度を達成できるか？
• RQ2 微分可能フォレストにおけるアテンションは、自然にスパース性を示すか。つまり、各決定において僅か数個の特徴量が支配的か？
• RQ3 データに適したアテンション重みの初期化は、ランダム初期化と比較して、モデルのスパarsityと性能を向上させられるか？
• RQ4 どの程度、微分可能性が木ベースのモデルの効果的なエンドツーエンド学習を可能にするか？
• RQ5 提案手法は、XGBoostのような最先端の表形式学習手法と比較して、どのように差をつけるか？

主な発見

• 深層微分可能フォレストは、大規模な表形式データセットにおいてXGBoostを上回る高い精度を達成し、優れた性能を示した。
• 微分可能フォレストにおけるアテンション機構は、本質的にスパースである。各決定において僅か数個の特徴量が寄与している。
• データに適したアテンション重みの初期化は、ランダム初期化と比較して顕著にスパースなアテンションパターンをもたらした。
• モデルの完全な微分可能性により、深層ニューラルネットワークと同様に勾配ベースの最適化による効果的な学習が可能になった。
• 木構造を介して解釈可能性を維持しつつ、GBDTと同等またはそれ以上の性能を達成した。
• ソースコードは公開されており、再現性とさらなる研究を支援している。