[論文レビュー] Deep Network Ensemble Learning applied to Image Classification using CNN Trees

Abdul Mueed Hafiz, G. Mohiuddin Bhat|arXiv (Cornell University)|Jul 23, 2020

Face and Expression Recognition被引用数 6

ひとこと要約

本論文は、意思決定木構造にインspiredされた、順序付き深層ネットワークアンサンブルを用いる新規なアンサンブル学習フレームワークであるCNN Treesを提案する。この手法は、ImageNetおよびNatural Imagesデータセットにおいて、単一モデルのResNet50よりも優れた性能を達成し、複雑なチューニングを伴わずに構造的なアンサンブル統合によって精度を向上させることを示している。

ABSTRACT

Traditional machine learning approaches may fail to perform satisfactorily when dealing with complex data. In this context, the importance of data mining evolves w.r.t. building an efficient knowledge discovery and mining framework. Ensemble learning is aimed at integration of fusion, modeling and mining of data into a unified model. However, traditional ensemble learning methods are complex and have optimization or tuning problems. In this paper, we propose a simple, sequential, efficient, ensemble learning approach using multiple deep networks. The deep network used in the ensembles is ResNet50. The model draws inspiration from binary decision/classification trees. The proposed approach is compared against the baseline viz. the single classifier approach i.e. using a single multiclass ResNet50 on the ImageNet and Natural Images datasets. Our approach outperforms the baseline on all experiments on the ImageNet dataset. Code is available in https://github.com/mueedhafiz1982/CNNTreeEnsemble.git

研究の動機と目的

• 従来のアンサンブル学習手法が深層学習応用においてしばしば複雑さとチューニングの難しさを抱えるという限界を是正すること。
• モデル複雑度を著しく増加させることなく、単純で順序的かつ効率的なアンサンブル手法を構築し、分類精度を向上させること。
• ImageNetやNatural Imagesといった標準的な画像分類ベンチマークにおいて、ResNet50を用いた深層ネットワークアンサンブルの有効性を調査すること。
• 意思決定木にインspiredされた構造が、深層学習アンサンブル学習における性能向上に寄与するかどうかを評価すること。

提案手法

• 提案手法は、各ノードが訓練済みのResNet50モデルを表す木構造を構築し、信頼度スコアまたは特徴マップの活性化に基づいて意思決定を行う。
• アンサンブルは逐次的に構築される：後続のモデルは、直前のモデルが誤分類したサンプル上で訓練される。これはブースティングに類似した戦略を模倣する。
• 最終的な予測は、木構造内のすべてのモデルの予測を重み付き投票または平均化することで得られる。
• 残差学習ブロックを活用することで、深層層にわたり性能と安定性を維持する。
• 固定された逐次的トレーニングスケジュールと信頼度ベースのサンプルルーティングを用いることで、複雑なハイパーパramータチューニングを回避する。
• 標準的な指標（トップ-1およびトップ-5精度）を用いて、ImageNetおよびNatural Imagesデータセットでフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの木構造アンサンブルは、単一のResNet50モデルと比較して、画像分類性能を向上させることができるか？
• RQ2 複数のResNet50モデルを対象に、順序的かつ信頼度ベースのルーティングにより誤分類サンプルを処理することで、一般化性能が向上するか？
• RQ3 伝統的なアンサンブル手法と比較して、CNN Treesアプローチは精度とトレーニングの複雑さの面で優れているか？
• RQ4 提案手法は、挑戦的な画像分類ベンチマークにおいて、誤り率をどの程度低減するか？

主な発見

• CNN Treesアンサンブルは、ImageNetデータセットで実施されたすべての実験において、単一のResNet50ベースラインを上回る性能を示した。
• 提案手法は、単一モデルベースラインと比較して、トップ-1およびトップ-5精度が高く、複数回の実行において一貫した改善を示した。
• 逐次的トレーニング戦略により、ハードサンプルに焦点を当てることで、誤分類が効果的に低減された。
• 手法は効率性を維持し、従来のアンサンブル学習フレームワークで一般的な最適化およびチューニングの問題を回避した。