[論文レビュー] Fully Convolutional Attention Networks for Fine-Grained Recognition

Xiao Liu, Tian Xia+4 more|arXiv (Cornell University)|Mar 22, 2016

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 128

ひとこと要約

FCANsは完全畳み込みネットワークを用いた強化学習を使用して、部位アノテーションなしで複数の識別性部位を局所化し、トレーニング/テストをより迅速にし、細分類ベンチマークで競争力のある精度を実現する。

ABSTRACT

Fine-grained recognition is challenging due to its subtle local inter-class differences versus large intra-class variations such as poses. A key to address this problem is to localize discriminative parts to extract pose-invariant features. However, ground-truth part annotations can be expensive to acquire. Moreover, it is hard to define parts for many fine-grained classes. This work introduces Fully Convolutional Attention Networks (FCANs), a reinforcement learning framework to optimally glimpse local discriminative regions adaptive to different fine-grained domains. Compared to previous methods, our approach enjoys three advantages: 1) the weakly-supervised reinforcement learning procedure requires no expensive part annotations; 2) the fully-convolutional architecture speeds up both training and testing; 3) the greedy reward strategy accelerates the convergence of the learning. We demonstrate the effectiveness of our method with extensive experiments on four challenging fine-grained benchmark datasets, including CUB-200-2011, Stanford Dogs, Stanford Cars and Food-101.

研究の動機と目的

• クラス間の差異が小さく、クラス内変動が大きい場合の細分類認識を動機づける。
• 高価なグラウンド-truth部位アノテーションへの依存を、弱教師あり学習を用いて排除する。
• トレーニングと推論の効率化のために特徴マップを再利用する完全畳み込み注意フレームワークを提案する。
• トレーニングを加速させるために、貪欲で逐次的な報酬で複数の識別的部位の局在を可能にする。

提案手法

• 共有特徴ネットワーク、複数の部位スコアマップを生成する注意ネットワーク、そして部位ごとの分類ネットワークからなるFCANsを提案する。
• アクションが注意位置であり、報酬が分類品質を反映するマルコフ決定過程(MDP)の定式化を用いる。
• 精度が向上した際に中間報酬を付与する貪欲報酬戦略を用いたREINFORCEベースの方策勾配で訓練する。
• 時間ステップを跨いで畳み込み特徴マップを再利用して特徴の再計算を避ける（Fast-RCNNに似た共有）。
• attended locationの周囲の高解像度領域を切り出して最終分類を行い、効率のために共有表現を維持する。

実験結果

リサーチクエスチョン

• RQ1 部位アノテーションなしで、弱教師付き注意が細分類認識の識別的部位を学習できるか？
• RQ2 完全畳み込み注意アーキテクチャは、再帰的注意モデルと比較して精度を維持しつつ効率を改善するか？
• RQ3 どの程度の注意数とどの報酬戦略が、データセット間で最も良い精度と訓練収束をもたらすか？

主な発見

データセット	精度（％）
CUB-200-2011	84.3
Stanford Dogs	88.9
Stanford Cars	91.5
Food-101	86.3

• 推論時に部位アノテーションを使用せず、4つのベンチマークで競争力のある細分類精度を達成。
• 完全畳み込み特徴再利用により、従来のRLベースの注意モデルを精度と効率の両面で上回る。
• 2つの注意が精度と計算コストの良いトレードオフを提供し、2つを超えると収益が低下する。
• 貪欲報酬戦略は、エンド報酬のみと比較して訓練収束を加速し最終精度を向上させる。
• 共有特徴マップとFast-RCNN風の領域抽出で訓練を行うと計算量を大幅に削減し、テストを高速化する。