[論文レビュー] See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification

Tao Hu, Honggang Qi+2 more|arXiv (Cornell University)|Jan 26, 2019

Advanced Neural Network Applications参考文献 41被引用数 100

ひとこと要約

本論文は WS-DAN を提案する。これは 弱教師ありのアテンションベースのデータ拡張フレームワークで、注意領域を切り抜き・削除して細粒度視覚分類を改善し、複数の FGVC データセットで最先端の結果を達成する。

ABSTRACT

Data augmentation is usually adopted to increase the amount of training data, prevent overfitting and improve the performance of deep models. However, in practice, random data augmentation, such as random image cropping, is low-efficiency and might introduce many uncontrolled background noises. In this paper, we propose Weakly Supervised Data Augmentation Network (WS-DAN) to explore the potential of data augmentation. Specifically, for each training image, we first generate attention maps to represent the object's discriminative parts by weakly supervised learning. Next, we augment the image guided by these attention maps, including attention cropping and attention dropping. The proposed WS-DAN improves the classification accuracy in two folds. In the first stage, images can be seen better since more discriminative parts' features will be extracted. In the second stage, attention regions provide accurate location of object, which ensures our model to look at the object closer and further improve the performance. Comprehensive experiments in common fine-grained visual classification datasets show that our WS-DAN surpasses the state-of-the-art methods, which demonstrates its effectiveness.

研究の動機と目的

• FGVC パフォーマンスを、ランダムな切り抜きではなく物体の空間構造を尊重したデータ拡張で改善することを動機づける。
• 画像レベルの注釈を用いて識別的な物体部位を見つける弱教師付きアテンション学習モジュールを提案する。
• アテンション誘導データ拡張（アテンションクロッピングとアテンションドロップ）を導入し、局所特徴抽出を強化する。
• 粗いから精密への予測を改善するため、正確な物体位置推定と精練を可能にする。）

提案手法

• 弱学習による監視を用いて、特徴マップを抽出し、物体部位を表す複数のアテンションマップを生成する。
• Bilinear Attention Pooling を適用して部品特徴を結合し、頑健な局所特徴表現を形成する。
• アテンション正則化損失を課し、同一部位のインスタンス間で部位表現を安定化させる。
• アテンション誘導データ拡張として、高アテンション領域周辺をクロップして複数の部位を探索させるようにし、アテンション領域をドロップして探索を促す。
• テスト時には、生の画像から粗い予測を計算し、アテンションマップを用いて物体を局在化し、物体領域を拡大し、粗い予測と細部予測を融合する。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きアテンションマップは、部位レベルのアノテーションなしに FGVC の識別的物体部位を正確に局在できるか。
• RQ2 アテンション誘導拡張（クロッピングとドロップ）は、認識精度と物体局在 IoU の両方を改善するか。
• RQ3 アテンションマップの数を変えると FGVC の精度にどのような影響があるか。
• RQ4 粗いから細部への局在/精練戦略は、FGVC における単一段階分類を上回るか。

主な発見

Dataset	Method	Accuracy (%)
CUB-200-2011 (testing)	WS-DAN	93.0
FGVC-Aircraft (testing)	WS-DAN	94.5
Stanford Cars (testing)	WS-DAN	92.2
Stanford Dogs (testing)	WS-DAN	92.2

• WS-DAN は four FGVC データセット：CUB-200-2011、FGVC-Aircraft、Stanford Cars、Stanford Dogs で最先端の精度を達成した。
• アテンション誘導拡張は、精度と物体局在 IoU の点でランダム拡張を上回る。
• アテンションマップの数を増やすと、約 32 マップ付近まで精度が向上し、その後 CUB-200-2011 で約 89.4% で飽和する。
• アテンション学習、アテンションクロッピング、アテンションドロップ、局在/精練の組み合わせが最大の改善をもたらす（例：CUB-200-2011 で 89.4%）。
• WS-DAN の CUB-200-2011 および Stanford Dogs での局在誤差は、ベースラインより有意に小さい（例：それぞれ 18.3% と 19.2%）。