[論文レビュー] Deep Forest

Zhi-Hua Zhou, Ji Feng|arXiv (Cornell University)|Feb 28, 2017

Neural Networks and Applications被引用数 15

ひとこと要約

この論文では、ニューラルネットワークではなく決定木アンサンブルに基づく深層学習モデルであるgcForestを紹介している。キャスケード構造とマルチグレインスキャンを活用し、バックプロパゲーションを用いずに階層的特徴抽出を実現する。最小限のハイパーパrameterチューニングで多様なタスクにおいて競争力ある性能を達成しており、微分可能でないモジュールを用いた深層モデルが成功しうることを示している。

ABSTRACT

Current deep learning models are mostly build upon neural networks, i.e., multiple layers of parameterized differentiable nonlinear modules that can be trained by backpropagation. In this paper, we explore the possibility of building deep models based on non-differentiable modules. We conjecture that the mystery behind the success of deep neural networks owes much to three characteristics, i.e., layer-by-layer processing, in-model feature transformation and sufficient model complexity. We propose the gcForest approach, which generates extit{deep forest} holding these characteristics. This is a decision tree ensemble approach, with much less hyper-parameters than deep neural networks, and its model complexity can be automatically determined in a data-dependent way. Experiments show that its performance is quite robust to hyper-parameter settings, such that in most cases, even across different data from different domains, it is able to get excellent performance by using the same default setting. This study opens the door of deep learning based on non-differentiable modules, and exhibits the possibility of constructing deep models without using backpropagation.

研究の動機と目的

• 微分可能モジュール（ニューラルネットワークなど）を用いずに深層学習を達成できるかを調査すること。
• 過剰なハイパーパrameter、データの過剰依存、解釈性の低さといった深層ニューラルネットワークの限界を是正すること。
• バックプロパゲーションを必要とせず、自動的にモデルの複雑さを決定できる決定木に基づく深層モデルを開発すること。
• デフォルト設定で動作する、小規模データセットや多様なドメインにおいても優れた性能を発揮する、頑健で汎用的な学習システムを構築すること。

提案手法

• 階層的特徴変換を可能にするために、ランダムフォレストとコンプリートランダムツリーのアンサンブルをキャスケード構造で組み合わせたgcForestを提案する。
• 入力データを複数のスケールと解像度で処理することで、多様で文脈に適した表現を生成するマルチグレインスキャンを採用する。
• 二段階のトレーニングプロセスを採用する：第一段階ではラベルなしで完全ランダムツリーを成長させ、特徴表現を生成する。第二段階では、これらの変換済み特徴に対してラベル付きデータでランダムフォレストをトレーニングする。
• データの複雑さに応じてキャスケードレベルの数を自動的に決定することで、手動でのアーキテクチャ設計に依存せず、データ依存のモデル複雑さを実現する。
• マルチグレインスキャン中に特徴のサンプリングを導入することで、メモリ使用量を削減し、アンサンブルの多様性を向上させる。
• 決定木の構造を活用し、ラベルなしデータを木の成長段階で利用することで、アクティブ学習や半教師あり学習への統合可能性を高める。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの代わりに、微分不能なモジュール（たとえば決定木）を用いて深層学習を実現できるか？
• RQ2 バックプロパゲーションを用いずにトレーニング可能な深層モデルを構築できるか？
• RQ3 最小限のハイパーパrameterチューニングで、多様なドメインにおいて深層ニューラルネットワークと同等の性能を達成できる深層フォレストモデルを構築できるか？
• RQ4 事前にアーキテクチャ設計を行わず、データに依存してモデルの複雑さを自動的に決定する方法は何か？
• RQ5 微分不能な状態でも、ランダムフォレストのようなアンサンブル手法を、階層的特徴抽出を可能にする深層的学習に拡張できるか？

主な発見

• gcForestは、表形式データ、画像、テキストデータを含む多様な機械学習タスクにおいて、深層ニューラルネットワークと競合する性能を達成している。
• ハイパーパrameterの設定に強く依存せず、同じデフォルト設定で異なるドメインにおいても一貫して優れた結果を示す、高い頑健性を示している。
• 深層ニューラルネットワークがデータ不足のため通常は性能を発揮しない小規模データセットに対しても、gcForestは優れた性能を発揮している。
• キャスケード構造とマルチグレインスキャンのおかげで、バックプロパゲーションを用いずに効果的な階層的特徴抽出が可能となり、表現能力が向上している。
• モデルの複雑さはデータに応じて自動的に決定されるため、手動でのアーキテクチャ設計の必要が減り、リソース使用の適応的制御が可能になる。
• 完全ランダムツリーがラベルなしデータでトレーニング可能であるため、gcForestはアクティブ学習や半教師あり学習への統合の可能性を示している。