[論文レビュー] Dense Adaptive Cascade Forest: A Densely Connected Deep Ensemble for Classification Problems

Haiyang Wang|arXiv (Cornell University)|Jan 1, 2018

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 1

ひとこと要約

本稿では、層間における密な残差接続、適応的ハイパーパramータ最適化、およびSAMME.Rブースティングを組み合わせることで分類精度を向上させる、深層アンサンブルモデルであるDense Adaptive Cascade Forest（daForest）を提案する。前処理を施さずに高次元スパースデータに対して従来のモデルやニューラルネットワークを上回り、最先端の結果を達成する。

ABSTRACT

Recent research has shown that deep ensemble for forest can achieve a huge increase in classification accuracy compared with the general ensemble learning method. Especially when there are only few training data. In this paper, we decide to take full advantage of this observation and introduce the Dense Adaptive Cascade Forest (daForest), which has better performance than the original one named Cascade Forest. And it is particularly noteworthy that daForest has a powerful ability to handle high-dimensional sparse data without any preprocessing on raw data like PCA or any other dimensional reduction methods. Our model is distinguished by three major features: the first feature is the combination of the SAMME.R boosting algorithm in the model, boosting gives the model the ability to continuously improve as the number of layer increases, which is not possible in stacking model or plain cascade forest. The second feature is our model connects each layer to its subsequent layers in a feed-forward fashion, to some extent this structure enhances the ability of the model to resist degeneration. When number of layers goes up, accuracy of model goes up a little in the first few layers then drop down quickly, we call this phenomenon degeneration in training stacking model. The third feature is that we add a hyper-parameter optimization layer before the first classification layer in the proposed deep model, which can search for the optimal hyper-parameter and set up the model in a brief period and nearly halve the training time without having too much impact on the final performance. Experimental results show that daForest performs particularly well on both high-dimensional low-order features and low-dimensional high-order features, and in some cases, even better than neural networks and achieves state-of-the-art results.

研究の動機と目的

• トレーニング中に性能が低下する問題、特にスタッキングやカスケードフォレストアーキテクチャにおける問題を解決すること。
• PCAなどの前処理を必要とせず、高次元スパース特徴および低次元高次特徴の両方の分類精度を向上させること。
• 最終的な性能にほとんど影響を与えない範囲で、モデル構築を高速化する適応的ハイパーパramータ最適化層を導入することで、トレーニング時間を短縮すること。
• 層間の密なスキップ接続を導入することで、モデルの安定性とスケーラビリティを向上させ、深さが増すに従っても精度の低下を防ぐこと。

提案手法

• 連続的な精度向上を可能にするために、SAMME.Rブースティングアルゴリズムを深層カスケードフォレスト構造に統合する。
• 各層がその後続のすべての層にフィードフォワードで密に接続される構造を採用し、勾配の流れを改善し、深層モデルにおける性能劣化を低減する。
• 最初の分類層の直前にハイパーパramータ最適化層を設け、モデルパラメータを自動的にチューニングすることで、トレーニング時間を約50％短縮する。
• 次元削減を施さずに、元の高次元スパース特徴を入力として維持し、モデルの内在的なスパース特徴に対する頑健性を活用する。
• 各層が前の層の予測を精緻化するカスケードアーキテクチャを採用し、ブースティングによりサンプルの重みを動的に調整することで、弱学習器の性能を向上させる。
• トレーニングの安定化と性能向上の維持を図るため、残差構造に類似した構造を導入する。

実験結果

リサーチクエスチョン

• RQ1 深層アンサンブルフォレストモデルは、深さが増すに従って性能が劣化せず、標準的なスタッキングモデルで見られるような性能の急低下を回避できるか？
• RQ2 SAMME.Rブースティングの統合は、従来のアンサンブル手法と比較して、深層カスケードフォレストアーキテクチャにおける性能にどのように影響を与えるか？
• RQ3 ハイパーパramータ最適化層は、最終的な分類精度を著しく低下させることなく、どの程度トレーニング時間を短縮できるか？
• RQ4 PCA や特徴選択などの前処理を施さずに、高次元スパースデータにおいて最先端の性能を達成できるか？
• RQ5 密な残差接続メカニズムは、深層フォレストモデルにおけるモデルの安定性と一般化性能をどのように向上させるか？

主な発見

• daForestは、複数のベンチマークデータセットで最先端の性能を達成しており、特に高次元スパース特徴の設定で顕著な優位性を示す。
• 深さが増すに従っても一貫した精度向上を維持し、スタッキングやシンプルなカスケードフォレストで見られるような性能の急激な低下を回避する。
• ハイパーパramータ最適化層のおかげで、トレーニング時間を約50％短縮しつつ、最終的なモデル精度は無視できる範囲でのみ低下する。
• 特定のデータセットでは、従来のランダムフォレストアンサンブルや深層ニューラルネットワークを上回る性能を示し、特にスパースで高次元の入力を持つデータに対して優れた性能を発揮する。
• 密接続メカニズムのおかげで、モデルの安定性が顕著に向上し、深層アーキテクチャにおいても性能の劣化を防止する。
• 低次元で高次特徴を持つデータセットに対しても、優れた一般化性能を示しており、多様なデータタイプに広く適用可能であることが示唆される。