[論文レビュー] Looking for the Devil in the Details: Learning Trilinear Attention Sampling Network for Fine-grained Image Recognition

Heliang Zheng, Jianlong Fu+2 more|arXiv (Cornell University)|Mar 14, 2019

Advanced Neural Network Applications参考文献 37被引用数 38

ひとこと要約

本論文は Trilinear Attention Sampling Network (TASN) を提案し，教師–学生蒸留アプローチを通じて hundreds of part proposals から微細な詳細を学習し，CUB-200-2011，Stanford Cars，iNaturalist 2017 で最先端の結果を達成する。

ABSTRACT

Learning subtle yet discriminative features (e.g., beak and eyes for a bird) plays a significant role in fine-grained image recognition. Existing attention-based approaches localize and amplify significant parts to learn fine-grained details, which often suffer from a limited number of parts and heavy computational cost. In this paper, we propose to learn such fine-grained features from hundreds of part proposals by Trilinear Attention Sampling Network (TASN) in an efficient teacher-student manner. Specifically, TASN consists of 1) a trilinear attention module, which generates attention maps by modeling the inter-channel relationships, 2) an attention-based sampler which highlights attended parts with high resolution, and 3) a feature distiller, which distills part features into a global one by weight sharing and feature preserving strategies. Extensive experiments verify that TASN yields the best performance under the same settings with the most competitive approaches, in iNaturalist-2017, CUB-Bird, and Stanford-Cars datasets.

研究の動機と目的

• 識別可能な微細なディテール（例：くちばし、目）を限られた事前定義パーツを超えて学習させる動機づけ。
• パーツ注釈なしで何百ものパーツ提案を抽出するスケーラブルな手法を開発。
• 多数のパーツ特徴を単一のバックボーンへ蒸留する効率的な教師–学生フレームワークを提案。
• 主要な FGVC データセット全体で効果を示し，競争力のある効率性を実現。

提案手法

• 畳み込み特徴からチャネル間アテンションマップを生成するトライリニアアテンションモジュールを導入。
• グローバルおよびパート固有のディテールを捉える構造保持・ディテール保持画像を生成するアテンションベースのサンプラーを開発。
• パーツ-net（教師）が soft-target cross-entropy を介してマスター-net（学生）を導く特徴蒸留器を提案し，数百のパーツディテールを1つのネットワークへ融合。
• パーツ-net からマスター-net へ微細ディテールを転送する知識蒸留を採用し，単一ストリーム推論を実現。

実験結果

リサーチクエスチョン

• RQ1 数百のパーツ提案から学習することは，明示的なパーツ注釈なしで微細分類認識を改善できるか。
• RQ2 トライリニアアテンションはサンプリングのための頑健で高解像度のパーツマップを生成するのにどれくらい効果的か。
• RQ3 提案された教師–学生蒸留スキームは，多数のパーツ特徴を性能低下なく単一のバックボーンへ効率的に統合できるか。
• RQ4 TASN は標準的な FGVC データセットで先行基準と比較してどの程度の向上を示すか。

主な発見

• TASN は同等のバックボーン・単一ストリーム推論の条件下で、CUB-200-2011、Stanford Cars、iNaturalist 2017 においてベースラインを上回る高精度を実現。
• CUB-200-2011 で ResNet-50、224 入力時には 87.0% の精度に達し（ベースラインの ResNet-50 は 81.6%）。
• ResNet-50、448 入力時には 87.0% を達成（高解像度ベースラインは 85.6%）、SSN- および DT-RAM ベースの手法を上回る。
• Stanford Cars では 1x VGG-19 を用いた TASN が 92.4% を達成（ベースラインは 88.6%）、アンサンブルでは 93.2% に達する。
• iNaturalist 2017 では TASN が 68.2% の精度を達成し，ほとんどのスーパークラスで ResNet（59.6%）および SSN（65.2%）を上回る。
• 総じて、単一ストリームの TASN は複数ストリームのパーツベースモデルを上回ることができ、最近の2次元特徴法と比べても競争力を維持する。