[論文レビュー] Committees of deep feedforward networks trained with few data

Bogdan Miclut, Thomas Kaester+2 more|arXiv (Cornell University)|Jun 23, 2014

Advanced Neural Network Applications参考文献 8被引用数 4

ひとこと要約

本稿では、誤差逆伝播法を用いずに完全に自己教師ありの層別訓練により学習される浅い深層順伝播ネットワークの委員会を提案し、小規模なデータセットにおける画像分類性能を向上させることを目的としている。データ拡張（鏡像、回転、スケーリング）を用いて訓練された複数のネットワークを組み合わせ、投票方式を採用することで、2層ネットワークと線形SVMを用いて、STL-10データセットで68.0%の精度を達成した。これは、先行する最先端手法を上回るものであり、誤差逆伝播法や大量のラベル付きデータを必要としない。

ABSTRACT

Deep convolutional neural networks are known to give good results on image classification tasks. In this paper we present a method to improve the classification result by combining multiple such networks in a committee. We adopt the STL-10 dataset which has very few training examples and show that our method can achieve results that are better than the state of the art. The networks are trained layer-wise and no backpropagation is used. We also explore the effects of dataset augmentation by mirroring, rotation, and scaling.

研究の動機と目的

• 小規模なラベル付きデータセットにおける画像分類性能を、委員会形式で組み合わせた複数の深層順伝播ネットワークによって向上させること。
• 誤差逆伝播法を用いずに自己教師ありの層別訓練が、限られた学習データを用いた画像認識タスクにおいて競争力のある結果をもたらすかどうかを検討すること。
• データ拡張（鏡像、回転、スケーリング）が、個々のネットワークおよび委員会ネットワークの性能に与える影響を評価すること。
• 多様なネットワーク出力のアンサンブル平均化が、個々のネットワークの性能を超えて一般化性能を向上させる程度を評価すること。
• 単純で浅いアーキテクチャに加え、自己教師ありの特徴抽出が、STL-10のようなベンチマークデータセットで最先端の結果を達成できることを示すこと。

提案手法

• 特徴抽出は層別に自己教師あり訓練により実施される：フィルタは入力特徴マップから抽出されたパッチを用いてk-meansクラスタリングにより学習される。
• 各ネットワーク層では、パッチ単位の前処理（正規化、ZCAホワイトニング）を実施後、学習済みフィルタによる畳み込み、絶対値によるリカチフィケーション、局所的コントラスト正規化を適用する。
• プーリングは一般化されたノルムを用いて実装される：$ y = \left(\sum_i x_i^\alpha\right)^{1/\alpha} $、ここで $ \alpha = 1 $（平均プーリング）が最良の性能を示した。
• 層間の接続には、特徴マップをランダムにグループ化（例：4つずつのグループ）する手法を採用し、k-meansクラスタリングの収束性を向上させるとともに次元削減を実現する。
• トレーニング中に、入力画像を鏡像、回転、スケーリングすることでデータ拡張を実施し、委員会に属する各ネットワークのための多様なトレーニングサンプルを生成する。
• 最終的な分類は、全委員会メンバーの正規化済みスコアを平均化し、合計スコアが最大となるクラスを選択することで実施される。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありで浅い深層順伝播ネットワークの委員会は、小規模データでの画像分類タスクにおいて、個々のネットワークを上回る性能を発揮できるか？
• RQ2 自己教師あり特徴抽出と組み合わせたデータ拡張（鏡像、回転、スケーリング）は、性能向上に顕著な効果をもたらすか？
• RQ3 誤差逆伝播法なしに訓練された浅いネットワークの制限を、複数のネットワーク間での投票方式がどの程度緩和できるか？
• RQ4 誤差逆伝播法が存在しない環境下で、プーリング戦略やリカチフィケーション手法の選択が最終的な分類精度に与える影響はいかほどか？
• RQ5 誤差逆伝播法を用いない単純な深層ネットワークアーキテクチャが、最小限のラベル付きデータを用いても、STL-10データセットで最先端の性能を達成できるか？

主な発見

• 委員会ネットワークは、STL-10データセットでトップ1精度68.0%を達成し、[6]で報告された以前の最先端手法（67.4%）を上回った。
• 鏡像と回転のみを用いたデータ拡張でも、委員会は67.39%の精度を達成し、自己教師あり環境下での拡張の有効性を示した。
• 最も性能の良かった個々のネットワーク（N2）は、鏡像と回転を用いて64.59%の精度を達成したが、委員会によるアンサンブル平均化により68.0%まで向上した。これは、アンサンブル平均化による一貫した性能向上を示している。
• 平均プーリング（$ \alpha = 1 $）が、マックスプーリングや他の$ \alpha $値よりも優れた性能を示し、より安定した特徴表現を可能にした。
• ON-OFFリカチフィケーション（正の応答と負の応答を分離）を用いた場合、鏡像拡張で64.73%の精度を達成した。非線形性の選択が性能に影響を与えるが、データ拡張の影響に比べてはるかに小さいことが示された。
• 委員会の性能は、常に個々のネットワークよりも優れており、劣悪な品質のネットワークを追加すると性能が飽和またはわずかに低下する傾向にあった。これは、メンバーの多様性と品質が極めて重要であることを示している。