[論文レビュー] Deep neural network initialization with decision trees

Kelli Humbird, J. L. Peterson+1 more|arXiv (Cornell University)|Jul 3, 2017

Machine Learning and Data Classification参考文献 19被引用数 7

ひとこと要約

本稿では、深層順伝播ニューラルネットワークの訓練のためのウォームスタートを提供するために、決定木を用いて初期化するDJINNという手法を提案する。木構造をネットワークのアーキテクチャおよび重みにマッピングすることにより、DJINNはベイジアンハイパーパramータ最適化と同等の予測性能を達成するが、はるかに低い計算コストで実現可能であり、複雑で高次元のデータセットにおけるサーヴィレートモデリングのための堅牢で使いやすい手法である。

ABSTRACT

In this work a novel, automated process for constructing and initializing deep feed-forward neural networks based on decision trees is presented. The proposed algorithm maps a collection of decision trees trained on the data into a collection of initialized neural networks, with the structures of the networks determined by the structures of the trees. The tree-informed initialization acts as a warm-start to the neural network training process, resulting in efficiently trained, accurate networks. These models, referred to as "deep jointly-informed neural networks" (DJINN), demonstrate high predictive performance for a variety of regression and classification datasets, and display comparable performance to Bayesian hyper-parameter optimization at a lower computational cost. By combining the user-friendly features of decision tree models with the flexibility and scalability of deep neural networks, DJINN is an attractive algorithm for training predictive models on a wide range of complex datasets.

研究の動機と目的

• 複雑で高次元のデータセットにおける最適なニューラルネットワークアーキテクチャおよび初期重みの選択という課題に取り組む。
• 決定木を構造的および重み初期化の出処として活用することで、深層学習におけるハイパラメータチューニングの計算負荷を低減する。
• 決定木の使いやすさと深層ニューラルネットワークの予測力およびスケーラビリティを統合する。
• 最小限のユーザー介入を要するブラックボックス手法を開発し、多様な回帰および分類タスクにおいて高い精度を維持する。
• 情報に基づいた重み初期化が、広範なハイパラメータサーチに比べて、効率性とパフォーマンスの面で優れていることを示す。

提案手法

• データセット上でアンサンブル（例：ランダムフォレスト）の決定木を学習させ、潜在的なパターンと構造を捉える。
• 各決定木の構造を、木の深さが隠れ層の数に対応し、リーフ数が各層のニューロン数に対応する深層順伝播ニューラルネットワークのアーキテクチャにマッピングする。
• スプリット閾値およびリーフ値の微分可能変換を用いてネットワーク重みを初期化し、初期ネットワークが木の挙動を模倣するようにする。
• 得られた初期化済みネットワークを標準的なバックプロパゲーション学習のウォームスタートとして使用し、収束速度と最終的なパフォーマンスを向上させる。
• アンサンブル内の異なる木から得た複数のDJINNネットワークを並列に訓練することで、耐性および一般化性能を向上させる。
• 回帰および分類タスクの両方に対して本手法を適用し、ベイジアンハイパラメータ最適化および他の初期化手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 決定木の構造を深層ニューラルネットワークのアーキテクチャに効果的にマッピングできるか、学習の効率性と正確性が向上するか？
• RQ2 木に情報に基づいた重み初期化は、HeやXavierのような標準的な初期化手法に比べて優れたウォームスタートを提供するか？
• RQ3 予測精度と計算コストの観点から、DJINNのパフォーマンスはベイジアンハイパラメータ最適化と比べてどの程度か？
• RQ4 ネットワークアーキテクチャを明示的に最適化せずに、DJINNは競争力のあるパフォーマンスを達成できるか？
• RQ5 深層学習応用において、本手法はハイパラメータチューニングの手動作業の必要性をどの程度低減できるか？

主な発見

• DJINNは、ボストン・ハービング、ダイアベティス、ワインといった複数の回帰および分類データセットで、ベイジアンハイパラメータ最適化と同等の予測性能を達成した。
• 本手法は、アーキテクチャおよびハイパラメータ空間の反復的探索を避けるため、ハイパラメータ最適化に比べて計算コストを著しく低減した。
• 複雑な回帰問題において、DJINNのアーキテクチャと初期化は、標準的な初期化手法よりも収束が速く、最終的な損失も低かった。
• アイrisや乳がん分類といった分類タスクにおいて、DJINNは他の初期化およびアーキテクチャ選択手法と同等の性能を示し、問題タイプにかかわらず堅牢であることが確認された。
• DJINNが生成する隠れ層の幅は、ベイジアン最適化で得られたものと非常に近い値を示しており、木構造が自然に効果的なアーキテクチャを示唆していることが示された。
• 並列に訓練されたDJINNアンサンブルは、特に低サンプリングで高次元のデータセットにおいて、一般化性能および安定性が向上した。