[論文レビュー] Fully Convolutional Attention Localization Networks: Efficient Attention Localization for Fine-Grained Recognition

Xiao Liu, Tian Xia+2 more|arXiv (Cornell University)|Mar 22, 2016

Advanced Neural Network Applications被引用数 81

ひとこと要約

本稿では、微細な識別に適した複数の判別的領域を自己適応的に局所化する、完全畳み込み強化学習ベースのアテンションネットワークを提案する。完全畳み込みアーキテクチャを活用することで、従来手法と比較してスタンフォード・ドッグス、スタンフォード・カー、CUB-200-2011の各データセットで優れた計算効率と高い精度を達成した。

ABSTRACT

Fine-grained recognition is challenging mainly because the inter-class differences between fine-grained classes are usually local and subtle while intra-class differences could be large due to pose variations. In order to distinguish them from intra-class variations, it is essential to zoom in on highly discriminative local regions. In this work, we introduce a reinforcement learning-based fully convolutional attention localization network to adaptively select multiple task-driven visual attention regions. We show that zooming in on the selected attention regions significantly improves the performance of fine-grained recognition. Compared to previous reinforcement learning-based models, the proposed approach is noticeably more computationally efficient during both training and testing because of its fully-convolutional architecture, and it is capable of simultaneous focusing its glimpse on multiple visual attention regions. The experiments demonstrate that the proposed method achieves notably higher classification accuracy on three benchmark fine-grained recognition datasets: Stanford Dogs, Stanford Cars, and CUB-200-2011.

研究の動機と目的

• 微細なクラスを識別する際の、局所的な違いが微細で、クラス内変動が大きいという課題に対処すること。
• 認識の向上を図るため、タスクに適応した複数の視覚的アテンション領域を自動的に選択する手法を開発すること。
• 従来の強化学習ベースのアテンションモデルと比較して、学習および推論の両方において計算効率を向上させること。
• 完全畳み込み設計を用いて、同時に複数の判別的局所領域に注目できるようにすること。

提案手法

• モデルは、エンドツーエンドで学習可能な形で視覚的アテンション領域の選択を強化学習フレームワークで誘導する。
• 完全畳み込みアーキテクチャを用いることで、入力画像全体にわたる効率的な空間特徴抽出とアテンション局所化を可能にする。
• エージェントは方策勾配を用いて、分類精度を最適化するように、複数の判別的局所領域に注目する学習を行う。
• タスク関連の特徴に基づいて、動的にアテンション領域が選択され、微細なクラス判別的部分に適応的に注目できる。
• 分類性能に基づく報酬信号を用いて、方策勾配強化学習によりエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込み強化学習モデルは、微細な識別に適した複数の判別的領域を効果的に局所化できるか？
• RQ2 提案手法は、従来の強化学習ベースのアテンションモデルと比較して、計算効率をどのように向上させるか？
• RQ3 適応的アテンション局所化は、標準的な微細な識別ベンチマークでの分類精度をどの程度向上させるか？
• RQ4 計算効率を損なわず、同時に複数の関連する局所領域に注目できるか？

主な発見

• 提案手法は、スタンフォード・ドッグス、スタンフォード・カー、CUB-200-2011の各データセットで、従来手法と比較して顕著に高い分類精度を達成した。
• 完全畳み込み設計により、従来の強化学習ベースのモデルと比較して、著しく高速な学習および推論が可能になった。
• モデルは1回のフォワードパスで複数の判別的領域を効果的に局所化でき、微細なクラスの特徴表現を向上させた。
• アテンション機構により、関係のない画像領域からの干渉が効果的に低減され、ポーズの変化に対してモデルのロバスト性が向上した。