[論文レビュー] Forward Thinking: Building Deep Random Forests

K. Miller, Chris Hettinger+3 more|arXiv (Cornell University)|May 20, 2017

Machine Learning and Data Classification参考文献 13被引用数 36

ひとこと要約

この論文は、バックプロパゲーションを必要とせず、段階的・順次に訓練可能な、ニューロンの代わりに段階的なアンサンブル木を用いた深層学習モデルの構築フレームワーク「フォワード・シンキング」を紹介する。提案されたフォワード・シンキング・ディープ・ランダムフォレスト（FTDRF）は、複数の層にわたる個々の木の出力をデータに順次マッピングすることで、2,000本の木のみでMNISTで98.98%の精度を達成し、gcForestの半分の木数で同等の性能を発揮する。

ABSTRACT

The success of deep neural networks has inspired many to wonder whether other learners could benefit from deep, layered architectures. We present a general framework called forward thinking for deep learning that generalizes the architectural flexibility and sophistication of deep neural networks while also allowing for (i) different types of learning functions in the network, other than neurons, and (ii) the ability to adaptively deepen the network as needed to improve results. This is done by training one layer at a time, and once a layer is trained, the input data are mapped forward through the layer to create a new learning problem. The process is then repeated, transforming the data through multiple layers, one at a time, rendering a new dataset, which is expected to be better behaved, and on which a final output layer can achieve good performance. In the case where the neurons of deep neural nets are replaced with decision trees, we call the result a Forward Thinking Deep Random Forest (FTDRF). We demonstrate a proof of concept by applying FTDRF on the MNIST dataset. We also provide a general mathematical formulation that allows for other types of deep learning problems to be considered.

研究の動機と目的

• ニューロン以外の多様な学習器を許容しつつ、深層ニューラルネットワークを一般化する一般的な深層学習フレームワークの開発。
• 層を順次訓練し、各訓練済み層を介してデータを前方にマッピングすることで、適応的かつ段階的なネットワークの深さを可能にする。
• 段階的な決定木の層を経て、データをより良い挙動を示す表現に変換することで、学習性能の向上を図る。
• 特に、トレーニングコストと過学習のリスクを低減する点で、ニューラルネットワークの代わりにランダムフォレストを用いた深層アーキテクチャの実現可能性と有効性を示す。
• 従来の深層ニューラルネットワークよりも少ない木数と高速なトレーニングで、MNISTなどのベンチマークデータセットで競争力のある性能を達成する。

提案手法

• ランダム決定木とエクストラランダムツリーの混合を用いて、アンサンブルの多様性を高める。
• 層の訓練が終了すると、各個々の木の予測を新しい特徴量として収集することで、すべてのトレーニングデータおよびテストデータをその層を通過させる。
• 変換されたデータを次の層の入力として使い、深層アーキテクチャを段階的に構築するプロセスを繰り返す。
• 画像の局所的パターンを抽出するため、マルチグリッドスキャン（MGS）前処理技術を適用し、深層フォレストトレーニングの前に対象の特徴表現を強化する。
• 各層の相対的性能向上が1%未満に下がるまでトレーニングを継続し、過学習を回避しつつ収束を保証する。
• 特徴空間の効果的な階層的分割を保証するため、ノードの分割に最適化された情報ゲインエントロピーを用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューロンを越えて一般化され、バックプロパゲーションを必要とせず、効率的かつ段階的なトレーニングが可能な深層学習フレームワークを設計できるか？
• RQ2 深層アーキテクチャにおいてニューロンの代わりに決定木を用いることで、MNISTのような標準ベンチマークで競争力のある性能が得られるか？
• RQ3 同じ前処理とデータセットを用いた場合、深層フォレストアーキテクチャの性能は、gcForestのような既存の深層モデルと比べてどうなるか？
• RQ4 アンサンブルされたランダムフォレストの出力ではなく、個々の木の出力を前方に渡すことで、一般化性能の向上やモデルサイズの削減が図れるか？
• RQ5 複数の決定木の層を通じてデータを変換することで、後続の分類タスクに適したより良い挙動を示す表現へと変換できる程度はどの程度か？

主な発見

• フォワード・シンキング・ディープ・ランダムフォレスト（FTDRF）は、2,000本の木のみでMNISTデータセットで98.98%の精度を達成し、gcForestが使用した木数の半分で同等の性能を発揮した。
• マルチグリッドスキャン（MGS）前処理を適用した場合、FTDRFは2,000本の木で98.98%の精度を達成したのに対し、gcForestは4,000本の木で98.96%の精度を記録した。これは、より優れたサンプル効率性を示している。
• わずか500本の木でも、FTDRFは98.89%の精度を達成し、顕著に低いモデル複雑度で優れた性能を示した。
• FTDRFフレームワークは、バックプロパゲーションを一切不要とし、高速かつ逐次的なトレーニングが可能で、従来の深層ニューラルネットワークに比べて計算コストを著しく削減した。
• アンサンブルされたフォレスト出力ではなく、個々の木の出力を前方に渡すアプローチは、より表現力があり、効率的な表現学習プロセスを実現した。
• 本手法は再現可能であり、GitHubでコードが公開されており、深層木ベースのアーキテクチャ分野における透明性とさらなる研究を支援している。