[論文レビュー] The Relative Performance of Ensemble Methods with Deep Convolutional Neural Networks for Image Classification

Cheng Ju, Aurélien Bibaut+1 more|arXiv (Cornell University)|Apr 5, 2017

Machine Learning and Data Classification参考文献 30被引用数 14

ひとこと要約

本研究では、CIFAR-10における画像分類のための深層畳み込みニューラルネットワーク（CNN）をベースラーナーとして用い、アンサンブル手法4種（加重平均なし、多数決投票、ベイズ最適分類器、Super Learner）を評価した。Super Learnerは、交差検証リスク最小化を用いて重みを最適化するデータ適応型アンサンブル手法であり、弱いモデルや過信しすぎたモデルが含まれる状況でも、他のすべての手法を常に上回り、異種のベースラーナーを伴う現実世界のシナリオにおいて、その頑健性と優位性を示した。

ABSTRACT

Artificial neural networks have been successfully applied to a variety of machine learning tasks, including image recognition, semantic segmentation, and machine translation. However, few studies fully investigated ensembles of artificial neural networks. In this work, we investigated multiple widely used ensemble methods, including unweighted averaging, majority voting, the Bayes Optimal Classifier, and the (discrete) Super Learner, for image recognition tasks, with deep neural networks as candidate algorithms. We designed several experiments, with the candidate algorithms being the same network structure with different model checkpoints within a single training process, networks with same structure but trained multiple times stochastically, and networks with different structure. In addition, we further studied the over-confidence phenomenon of the neural networks, as well as its impact on the ensemble methods. Across all of our experiments, the Super Learner achieved best performance among all the ensemble methods in this study.

研究の動機と目的

• 深層畳み込みニューラルネットワークを用いた画像分類に応用された一般的に用いられるアンサンブル手法の相対的性能を評価すること。
• モデルの多様性、過信、劣悪なベースラーナーがアンサンブル性能に与える影響を調査すること。
• 実際の応用において、Super Learnerのようなデータ適応型アンサンブル手法が、単純な加重平均や投票戦略を上回る可能性があるかどうかを評価すること。
• 過小適合または過信しすぎたモデルを含むさまざまなライブラリ構成において、アンサンブル手法の頑健性を検討すること。
• 有限で複雑なデータセットを用いた現実世界の画像認識タスクにおいて、Super Learnerの実用的利点を示すこと。

提案手法

• ベースラーナーとして、VGG、ResNet、GoogLeNet、NINの深層CNNを用い、異なる初期化、アーキテクチャ、訓練イテレーションを用いることで多様なアンサンブルを構築した。
• 4つのアンサンブル手法を評価した：加重平均なし、多数決投票、ベイズ最適分類器（BOC）、および交差検証リスク最小化により最適な凸重みを計算するSuper Learner。
• 計算制約のため、Super Learnerは単一分割交差検証アプローチを用い、予測誤差を最小化するようにバリデーションセット上で重みを最適化した。
• アンサンブル予測は、ソフトマックス活性化の前後で計算され、テストセットの正確性を評価した。
• 同じアーキテクチャ（異なる重み）を用いた均質なライブラリと、異なるアーキテクチャ、訓練走行、最適化状態を含む非均質なライブラリの両方を評価した。
• Super Learnerは、ベースラーナー出力の上に1×1畳み込み層として実装された、学習可能な線形結合として実装された。

実験結果

リサーチクエスチョン

• RQ1 同じ性能で類似したアーキテクチャを持つ深層CNNに適用した場合、異なるアンサンブル手法の性能はどのように異なるか？
• RQ2 弱いまたは過信しすぎたベースラーナーを含めると、加重平均や多数決投票のようなアンサンブル手法の性能にどのような影響が生じるか？
• RQ3 データ適応型アンサンブル手法としてのSuper Learnerは、性能が劣るか過信しすぎたモデルを含むライブラリにおいても、高い性能を維持できるか？
• RQ4 異なるアーキテクチャ、訓練イテレーションを含む多様なベースラーナーを含めると、アンサンブル手法の相対的性能にどのような影響が生じるか？
• RQ5 Super Learnerがベースラーナーに最適な重みを適切に割り当てられる能力が、さまざまなライブラリ構成において一貫した性能向上をもたらすか？

主な発見

• Super Learnerは、4つのベースラーナー（VGG、ResNet 32、44、56）を用いた場合、CIFAR-10で0.9477の最高テスト正確度を達成し、最高の単一ベースラーナー（0.9399）を上回った。
• 加重平均は、ベースラーナーの性能が類似している場合には良好に機能したが、5つの弱いGoogLeNetモデルを追加すると著しく低下（0.9001）し、劣悪なラーナーに敏感であることが示された。
• 多数決投票も弱いラーナーの影響を受けて悪化し、5つの過小適合のGoogLeNetsを含めると正確度が0.8720に低下した。一方、加重平均は0.9001に低下した。
• Super Learnerは、5つの弱いGoogLeNetモデルを含めても安定した性能（0.9477）を維持し、劣悪な品質のベースラーナーに対して頑健であることが示された。
• 過小適合や過信しすぎたモデルを含むすべてのベースラーナーを含めた場合、Super Learnerは0.9502のテスト正確度を達成し、加重平均（0.9448）や多数決投票（0.9410）を著しく上回った。
• すべての実験において、Super Learナーラーの性能は一貫して優れており、手動での選択や事前フィルタリングを必要とせずに、最適な重みを適応的に割り当てられる能力を確認した。