[論文レビュー] Deep Forest: Towards An Alternative to Deep Neural Networks

Zhi‐Hua Zhou, Ji Feng|arXiv (Cornell University)|Feb 28, 2017

Machine Learning and Data Classification被引用数 88

ひとこと要約

この論文は、最小限のハイパーパramータチューニングで済み、小規模データセットでも良好に動作する、深層ニューラルネットワークと同等の性能を達成する決定木アンサンブルモデルであるgcForestを紹介している。深層ニューラルネットワークとは異なり、gcForestは効率的でスケーラブルであり、自然に並列処理が可能であり、通常は深層学習が適用されるタスクにおける実用的な代替手段を提供する。

ABSTRACT

In this paper, we propose gcForest, a decision tree ensemble approach with performance highly competitive to deep neural networks. In contrast to deep neural networks which require great effort in hyper-parameter tuning, gcForest is much easier to train. Actually, even when gcForest is applied to different data from different domains, excellent performance can be achieved by almost same settings of hyper-parameters. The training process of gcForest is efficient and scalable. In our experiments its training time running on a PC is comparable to that of deep neural networks running with GPU facilities, and the efficiency advantage may be more apparent because gcForest is naturally apt to parallel implementation. Furthermore, in contrast to deep neural networks which require large-scale training data, gcForest can work well even when there are only small-scale training data. Moreover, as a tree-based approach, gcForest should be easier for theoretical analysis than deep neural networks.

研究の動機と目的

• 深層ニューラルネットワークと同等の性能を達成するが、学習およびチューニングが簡単な機械学習モデルの開発。
• 大規模な学習データへの依存を低減し、小規模データのシナリオに適したモデルの実現。
• 並列処理に適した木ベースのアーキテクチャを活用して、学習の効率性とスケーラビリティを向上。
• 深層ニューラルネットワークの代替として、より解釈可能で理論的に分析可能な選択肢の提供。

提案手法

• gcForestは、ランダムフォレストとエキストラツリーを階層的に段階的に組み合わせた構造を採用し、特徴表現を段階的に精錬する。
• 複数段階の木アンサンブルを用い、各段階が直前の段階の出力をもとに高レベルの表現を学習する。
• 各段階に、元の特徴量と直前の段階からの変換済み特徴量の両方を入力として適用することで、深層的な階層的学習を実現する。
• 木ベースのモデルが持つ内在的な並列性を活用し、GPU加速を必要とせずに学習を高速化する。
• さまざまなデータセットにわたってハイパーパramータを一貫して使用し、広範なチューニングの必要性を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 木ベースのアンサンブルモデルは、多様なベンチマークタスクにおいて深層ニューラルネットワークと同等の性能を達成できるか？
• RQ2 gcForestは、ハイパーパramータの調整をほとんど行わずに、さまざまなデータドメインで高い性能を維持できるか？
• RQ3 gcForestは、標準的なCPU上で効率的に学習できるか？また、GPUで学習する深層ニューラルネットワークと同等の学習速度を達成できるか？
• RQ4 gcForestは、深層ニューラルネットワークと比較して、小規模な学習データセットにおいてどれほど一般化性能を発揮できるか？

主な発見

• gcForestは、画像データや表形式データを含む多様なベンチマークデータセットにおいて、深層ニューラルネットワークと同等の性能を達成している。
• ほぼ同一のハイパーパramータ設定で、多様なデータドメインにおいても高い精度を維持しており、優れた一般化性能を示している。
• 標準的なPCでgcForestを学習する時間は、GPUで学習する深層ニューラルネットワークと同等であり、高い効率性を示している。
• gcForestは限られた学習データでも良好な性能を発揮し、低データ環境では深層ニューラルネットワークを上回っている。