[論文レビュー] Towards the effectiveness of Deep Convolutional Neural Network based Fast Random Forest Classifier

Mrutyunjaya Panda|arXiv (Cornell University)|Sep 28, 2016

Machine Learning and ELM被引用数 4

ひとこと要約

本稿では、特徴抽出にディープ畳み込みニューラルネットワーク（DCNN）を、分類にファストランダムフォレスト（FRF）を組み合わせた新規ハイブリッド分類器を提案する。DCNNの階層的特徴学習とFRFの高次元・ノイズ多めのデータに対する頑健性を活用することで、バイオインフォマティクス、手書き数字、画像セグメンテーションなどのベンチマークデータセットで最先端の精度と高速性を達成した。効果的な正則化と効率的なアンサンブル学習により、従来手法を上回った。

ABSTRACT

Deep Learning is considered to be a quite young in the area of machine learning research, found its effectiveness in dealing complex yet high dimensional dataset that includes but limited to images, text and speech etc. with multiple levels of representation and abstraction. As there are a plethora of research on these datasets by various researchers , a win over them needs lots of attention. Careful setting of Deep learning parameters is of paramount importance in order to avoid the overfitting unlike conventional methods with limited parameter settings. Deep Convolutional neural network (DCNN) with multiple layers of compositions and appropriate settings might be is an efficient machine learning method that can outperform the conventional methods in a great way. However, due to its slow adoption in learning, there are also always a chance of overfitting during feature selection process, which can be addressed by employing a regularization method called dropout. Fast Random Forest (FRF) is a powerful ensemble classifier especially when the datasets are noisy and when the number of attributes is large in comparison to the number of instances, as is the case of Bioinformatics datasets. Several publicly available Bioinformatics dataset, Handwritten digits recognition and Image segmentation dataset are considered for evaluation of the proposed approach. The excellent performance obtained by the proposed DCNN based feature selection with FRF classifier on high dimensional datasets makes it a fast and accurate classifier in comparison the state-of-the-art.

研究の動機と目的

• バイオインフォマティクスやコンピュータビジョンで一般的に見られる高次元・ノイズ多めのデータセットにおけるディープラーニングの過学習と遅い学習の課題に対処すること。
• 多くの特徴量と少ないサンプル数のデータセットに対して、DCNNの階層的特徴表現とファストランダムフォレスト（FRF）の頑健性を組み合わせることで分類性能を向上させること。
• 従来手法と比較して、DCNNベースの特徴選択が分類精度と計算効率をどのように改善するかを評価すること。
• 実世界の複雑で高次元の特徴を持つデータセットにおいて、提案されたハイブリッドモデルの優位性を示すこと。

提案手法

• 画像や高次元ベクトルなどの生データから階層的・抽象的な表現を自動で学習できる、複数層のディープ畳み込みニューラルネットワーク（DCNN）を採用する。
• 高次元データにおける特徴選択フェーズにおいて特に効果的となるよう、DCNNの学習中にドロップアウト正則化を適用し、過学習を防止する。
• 学習された特徴を、特徴量が多くてサンプル数が限られたデータセットに最適化されたファストランダムフォレスト（FRF）分類器の入力として使用する。
• バックプロパゲーションを用いてDCNNをエンドツーエンドで学習し、その後特徴抽出を行い、得られた埋め込み表現をFRFに供給して最終的な分類を実行する。
• 交差検証を用いてDCNNおよびFRFのハイパーパrameterを最適化し、精度と学習速度のバランスを取る。
• バイオインフォマティクス、MNIST、画像セグメンテーションなど多様なデータセットを用いてモデルを評価し、汎化性能と性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 DCNNベースの特徴抽出パイプラインは、高次元・ノイズ多めのデータセットにおいて、過学習を効果的に低減し、表現品質を向上させることができるか？
• RQ2 DCNN特徴とファストランダムフォレストの統合は、単体のモデルと比較して分類精度と速度をどのように向上させるか？
• RQ3 DCNN部におけるドロップアウト正則化は、小サンプル・高特徴量データセットにおける一般化性能をどの程度向上させるか？
• RQ4 提案されたハイブリッドモデルは、MNIST やバイオインフォマティクスデータなどのベンチマークデータセットにおいて、最先端の手法を上回るか？

主な発見

• 提案されたDCNN-FRFハイブリッドモデルは、バイオインフォマティクスや画像セグメンテーションなどの高次元データセットにおいて、ベースライン手法よりも優れた分類精度を達成した。
• DCNN特徴学習とFRFの統合により、特に特徴量がサンプル数を上回るデータセットにおいて過学習が顕著に低減された。
• DCNN部におけるドロップアウトの使用により、特徴選択プロセス中の過学習が効果的に抑制され、モデルの一般化性能が向上した。
• ファストランダムフォレスト分類器の効率性のおかげで、従来のディープラーニングモデルよりも高速な学習および推論時間が実現された。
• MNIST 手書き数字データセットでは、競争力のある精度を維持しながらも、高い計算効率を示した。
• 結果から、複雑で高次元の特徴を持つが訓練サンプルが限られたデータセットに対して、このハイブリッドアプローチが特に有効であることが示された。