[論文レビュー] Collaborative Layer-wise Discriminative Learning in Deep Neural Networks

Xiaojie Jin, Yunpeng Chen+3 more|arXiv (Cornell University)|Jul 19, 2016

Remote-Sensing Image Classification参考文献 35被引用数 4

ひとこと要約

本論文では、複数の分類器を異なる層に導入し、分類性能を共同で最適化することで深層ニューラルネットワークの性能を向上させる、協調的層別判別学習（CLDL）を提案する。各層がまだ自信を持って分類されていないサンプルに注目できるようにすることで、階層的特徴における判別能力が向上し、アーキテクチャの変更なしにCIFAR100、MNIST、ImageNet、MIT67、SUN397、Places205のすべてのベンチマークで最先端の結果を達成した。

ABSTRACT

Intermediate features at different layers of a deep neural network are known to be discriminative for visual patterns of different complexities. However, most existing works ignore such cross-layer heterogeneities when classifying samples of different complexities. For example, if a training sample has already been correctly classified at a specific layer with high confidence, we argue that it is unnecessary to enforce rest layers to classify this sample correctly and a better strategy is to encourage those layers to focus on other samples. In this paper, we propose a layer-wise discriminative learning method to enhance the discriminative capability of a deep network by allowing its layers to work collaboratively for classification. Towards this target, we introduce multiple classifiers on top of multiple layers. Each classifier not only tries to correctly classify the features from its input layer, but also coordinates with other classifiers to jointly maximize the final classification performance. Guided by the other companion classifiers, each classifier learns to concentrate on certain training examples and boosts the overall performance. Allowing for end-to-end training, our method can be conveniently embedded into state-of-the-art deep networks. Experiments with multiple popular deep networks, including Network in Network, GoogLeNet and VGGNet, on scale-various object classification benchmarks, including CIFAR100, MNIST and ImageNet, and scene classification benchmarks, including MIT67, SUN397 and Places205, demonstrate the effectiveness of our method. In addition, we also analyze the relationship between the proposed method and classical conditional random fields models.

研究の動機と目的

• 下位および中位の層が単純または中位のパターンに対してすでに判別可能な情報を含んでいるにもかかわらず、深層ネットワークにおける階層的特徴の活用が不十分である問題に対処する。
• 上位層の特徴に依存する既存の手法の限界を克服し、下位および中位層の補完的判別力を活用する。
• 異なる層に配置された分類器が協調して、それぞれ異なる困難な分類サンプルに注目することで、全体の分類精度を向上させる。
• 標準的なバックプロパゲーションと互換性があり、VGGNet、GoogLeNet、NINなどの最先端ネットワークをアーキテクチャの変更なしに強化できるプラグイン型の訓練手法を開発する。

提案手法

• 深層ニューラルネットワークの異なる層の上に複数の分類器を導入し、それぞれが対応する層からの特徴を入力とする。
• 各サンプルの正解ラベルに加え、他の分類器の予測スコアを補助的監視情報として組み込む、新しいCLDL損失関数を設計する。
• 各分類器が他の分類器の信頼度に基づいて動的に焦点を合わせ、まだ自信を持って分類されていないサンプルに重点を置けるようにする。
• すべての分類器と特徴抽出器が共同で最適化できるように、バックプロパゲーションを用いてネットワーク全体をエンドツーエンドで訓練する。
• すべての層における最終的な分類性能を最大化する共同最適化目的関数として、協調学習を定式化する。
• 層間で条件付きランダムフィールド（CRF）構造に同等であることを示し、協調メカニズムに確率的解釈を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの異なる層に配置された複数の分類器が、補完的なサンプルに注目することで、分類性能を共同で向上させることができるか？
• RQ2 層間での協調学習は、上位層の特徴のみを用いる場合と比較して、より効果的に判別的特徴を活用できるか？
• RQ3 提案手法は、アーキテクチャの変更や再学習なしに、既存の深層ネットワークに効果的に統合できるか？
• RQ4 CLDLの性能は、オブジェクトおよびシーン分類タスクを含む多様なベンチマークで、最先端モデルと比較してどうなるか？
• RQ5 構造および最適化の観点から、CLDLと古典的なCRFモデルとの関係は何か？

主な発見

• CLDL-VGGNet-11はMIT67で84.69%の精度を達成し、以前の最先端（DAG-CNN）の77.50%を7.19ポイント上回った。
• SUN397では、CLDL-VGGNet-16が70.40%の精度を記録し、層数が少ないにもかかわらずDAG-CNNを14.2ポイント上回った。
• Places205では、CLDL-VGGNet-11がトップ1精度88.67%を達成し、元のPlaces205-VGGNet-11の1.07%上回り、VGGNet-13やVGGNet-16よりも優れた性能を示した。
• CIFAR100、MNIST、ImageNet、MIT67、SUN397、Places205の6つのベンチマークすべてで、CLDLは最先端の性能を達成した。
• CLDLは、学習から再開する必要がある大規模データセット（例：Places205）に対しても、事前学習済みモデルを微調整する形で、著しく性能を向上させた。
• アブレーションスタディにより、分類器が互いの信頼度に基づいて相互に異なるサンプルに注目する協調メカニズムが、性能向上の鍵であることが確認された。