[論文レビュー] The Application of Two-level Attention Models in Deep Convolutional Neural Network for Fine-grained Image Classification

Tianjun Xiao, Yichong Xu+4 more|arXiv (Cornell University)|Nov 24, 2014

Advanced Neural Network Applications参考文献 14被引用数 12

ひとこと要約

本稿では、画像ラベルのみを用いてオブジェクトレベルおよびパーツレベルのアテンションを暗黙的に学習する、深層畳み込みニューラルネットワークにおける二段階アテンション機構を提案する。ドメイン固有のフィルターネットを用いて関連するパッチを選別し、特徴マップからパーツ検出フィルタを同定することで、弱い教師信号（画像ラベルのみ）のもとでCUB200-2011でSOTAの69.7%の精度を達成した。境界ボックスやパーツアノテーションを必要としない手法であり、最先端の性能を発揮した。

ABSTRACT

Fine-grained classification is challenging because categories can only be discriminated by subtle and local differences. Variances in the pose, scale or rotation usually make the problem more difficult. Most fine-grained classification systems follow the pipeline of finding foreground object or object parts (where) to extract discriminative features (what). In this paper, we propose to apply visual attention to fine-grained classification task using deep neural network. Our pipeline integrates three types of attention: the bottom-up attention that propose candidate patches, the object-level top-down attention that selects relevant patches to a certain object, and the part-level top-down attention that localizes discriminative parts. We combine these attentions to train domain-specific deep nets, then use it to improve both the what and where aspects. Importantly, we avoid using expensive annotations like bounding box or part information from end-to-end. The weak supervision constraint makes our work easier to generalize. We have verified the effectiveness of the method on the subsets of ILSVRC2012 dataset and CUB200_2011 dataset. Our pipeline delivered significant improvements and achieved the best accuracy under the weakest supervision condition. The performance is competitive against other methods that rely on additional annotations.

研究の動機と目的

• 微細分類においては、識別的特徴が小さな微妙な部分に局在するため、ポーズやスケールの変化が認識を複雑にするという課題に対処すること。
• 強力なアノテーションに依存せずに、「どこに」（関連領域の局在化）と「何を」（識別的特徴の抽出）の両面を向上させる深層学習パイプラインを構築すること。
• 画像ラベルのみを用いる最弱教師信号設定のもとで、畳み込みニューラルネットワークの内部表現を活用してアテンション機構を学習することで、高い性能を達成すること。
• トレーニング時および推論時において境界ボックスやパーツランドマークを必要としないエンドツーエンドの学習を可能にすること。

提案手法

• ボトムアップな領域提案法により、数千個の候補パッチが生成され、それらは画像ラベルのみで学習されたドメイン固有のフィルターネットによってフィルタリングされる。
• フィルターネットは、基本的なカテゴリ（例：「鳥」や「犬」）に関連するパッチを選択することで、スケールやポーズの変化に対してより頑健なオブジェクトレベルのトップダウンアテンションを実現する。
• 畳み込みニューラルネットワークの隠れ層におけるフィルタを、識別的局所パターンに対して高い感受性を示すものとして同定することで、パーツレベルのアテンションを実装する。この方法ではパーツアノテーションを必要とせず、キーパーツの局在化が可能である。
• フィルターネット駆動のパッチからのマルチビュー予測とパーツベース分類器の出力を後期に融合することで、両アテンションレベルの利点を組み合わせる。
• パイプライン全体は、境界ボックスやパーツランドマークアノテーションを一切必要とせず、画像ラベルのみの教師信号を用いてエンドツーエンドで学習される。
• 隠れ層における特徴クラスタリングを活用してパーツ検出フィルタを同定することで、弱教師付きのパーツ局在化を実現する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスやパーツアノテーションを必要としない二段階アテンション機構（オブジェクトレベルとパーツレベル）が、微細分類の精度向上に寄与するか？
• RQ2 画像ラベルのみの弱教師信号が、微細認識のための意味のあるアテンション機構を学習するのにどの程度有効か？
• RQ3 畳み込みニューラルネットワークの内部特徴表現を用いて、明示的なパーツ教師なしに識別的パーツを暗黙的に検出できるか？
• RQ4 フィルターネットとパーツベース分類器からのマルチビュー予測を後期に融合することで、単一ストリームモデルと比較して性能がどのように向上するか？

主な発見

• CUB200-2011データセットでは、69.7%のトップ1精度を達成し、より強い教師信号を用いる手法と同等の性能を示し、最弱教師信号設定における最高性能を記録した。
• ILSVRC2012の鳥および犬サブセットでは、弱教師信号のもとでそれぞれ21.1%および40.1%から11.0%および28.1%へと精度が向上した。
• VGGNetを用いることで、CUB200-2011でほぼ78%の精度に到達し、深層アーキテクチャへのスケーラビリティを示した。
• 内部畳み込みニューラルネットワーク表現に観察されたクラスタリングパターンにより、識別的パーツに感受性の高いフィルタを信頼性高く同定でき、弱教師付きパーツ検出を支援した。
• 二段階アテンション機構は互いに補完し合う：オブジェクトレベルアテンションはマルチスケール・マルチビューのパッチを提供し、パーツレベルアテンションは局在化精度とポーズ不変性を向上させる。