[論文レビュー] Fine-Grained Classification via Mixture of Deep Convolutional Neural Networks

Zongyuan Ge, Alex Bewley+4 more|arXiv (Cornell University)|Nov 30, 2015

Advanced Neural Network Applications参考文献 21被引用数 5

ひとこと要約

本稿では、画像をK個の類似したサブセットに分割し、K個のエキスパートDCNNを一括でエンドツーエンドに訓練する、混合深層畳み込みニューラルネットワーク（MixDCNN）を提案する。この手法は各エキスパートの信頼度に基づいた重み付け出力を用い、別個のゲーミングネットワークを不要とし、複数のデータセットでベースライン手法よりも12.7%相対的に性能向上を達成し、最先端の性能を実現した。

ABSTRACT

We present a novel deep convolutional neural network (DCNN) system for fine-grained image classification, called a mixture of DCNNs (MixDCNN). The fine-grained image classification problem is characterised by large intra-class variations and small inter-class variations. To overcome these problems our proposed MixDCNN system partitions images into K subsets of similar images and learns an expert DCNN for each subset. The output from each of the K DCNNs is combined to form a single classification decision. In contrast to previous techniques, we provide a formulation to perform joint end-to-end training of the K DCNNs simultaneously. Extensive experiments, on three datasets using two network structures (AlexNet and GoogLeNet), show that the proposed MixDCNN system consistently outperforms other methods. It provides a relative improvement of 12.7% and achieves state-of-the-art results on two datasets.

研究の動機と目的

• 微細な画像分類の課題に対処する。ここでは、クラス間の微小な差異とクラス内の大規模な変動が正確な識別を困難にしている。
• 別個のゲーミングネットワークに依存する従来手法の限界を克服し、エキスパートネットワークを主に特徴抽出に使用するものとは異なる。
• エキスパートネットワークとその信頼度に基づく重み付けを一括でエンドツーエンドで最適化する統合的でトレーニング可能なフレームワークを開発する。
• 動的サンプル再割り当てを可能にすることで、アンサンブル、ゲーミング、サブセット特徴学習アプローチを凌駕する性能向上を実現する。

提案手法

• 事前学習済みDCNN（AlexNetまたはGoogLeNet）の特徴量を用いてクラスタリングを行い、視覚的類似性に基づき訓練データをK個の重複のないサブセットに分割する。
• 各サブセットごとに1つのエキスパートDCNNを訓練し、事前学習済みネットワーク（例：ImageNet重み）から共有重みを初期化する。
• 各エキスパートの出力をその予測の信頼度に比例する割合で重み付けるための「占有確率」を用い、ソフトアンサンブルの意思決定を形成する。
• すべてのK個のエキスパートネットワークと信頼度重み付け機構を一括でエンドツーエンドバックプロパゲーションすることで、トレーニング中に動的サンプル再割り当てを可能にする。
• クラスタリングに使用するため、特徴次元をD=128に削減するために線形判別分析（LDA）を適用する。特徴量はAlexNetの最初の全結合層またはGoogLeNetの最終特徴層から得る。
• 過学習を防ぐために、GoogLeNetの最終層に高いドロップアウト率（0.5）を適用し、標準的な交差エントロピー損失関数でトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 複数のエキスパートDCNNの統合的エンドツーエンドトレーニングフレームワークは、従来のアンサンブルやゲーミング手法を上回る微細画像分類性能を実現できるか？
• RQ2 信頼度重み付き出力を通じた適応的サンプル再割り当ては、固定パーティショニングや別個のゲーミングネットワークを上回る性能を発揮するか？
• RQ3 ネットワークアーキテクチャ（例：AlexNet対GoogLeNet）やデータセットの違いに応じて、エキスパート混合アプローチの性能はどのようにスケーリングするか？
• RQ4 データセットサイズが、特にトランスファー学習がすでに優れた性能を発揮する状況下で、エキスパート混合戦略の有効性にどのような影響を与えるか？
• RQ5 明示的なゲーミング監視なしに、占有確率メカニズムが、関連性の高いエキスパートにサンプルを適切に割り当てることを学習できるか？

主な発見

• CUBデータセットを除く複数のデータセットにおいて、MixDCNNはベースラインのDCNN-tl手法よりも12.7%相対的に性能向上を達成した。
• Birdsnapデータセットでは、GoogLeNetを用いたMixDCNNが67.4%の正確度を達成し、以前の最先端手法（48.8%）よりも9.9%相対的に向上した。
• PlantCLEF-Flowerデータセットでは、MixDCNNが51.9%の正確度を達成し、ベースラインのDCNN-tl（48.7%）よりも7.0%相対的に向上した。
• GatedDCNN（平均9.1%相対的向上）、サブセット特徴学習（Subset FL）、アンサンブル手法など、関連手法を常に上回る性能を発揮した。
• Birdsnapのような大規模データセットでは性能向上が顕著である一方、CUB200-2011のような小規模データセットでは、トランスファーラーニングによるベースライン性能が高いため、向上幅は限定的であった。
• 統合トレーニング機構により、トレーニング中に最も適切なエキスパートにサンプルが動的に再割り当てされ、モデルの適応性と正確性が向上した。