[論文レビュー] Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition

Ming Sun, Yuchen Yuan+2 more|arXiv (Cornell University)|Jun 14, 2018

Advanced Neural Network Applications被引用数 17

ひとこと要約

本稿では、1つの圧縮による多重励起（OSME）モジュールと多重注意多重分類制約（MAMC）を備えた、エンドツーエンドのCNNフレームワークを提案する。この手法により、部分の注目領域を同時に局所化し、注目領域間のメトリクス学習を強制することで、1段階の訓練が可能となり、CUB-200-2011、Stanford Dogs、Stanford Cars、および新しい大規模な「Dogs-in-the-Wild」データセットにおいて、部分アノテーションを必要とせずに最先端の精度を達成した。

ABSTRACT

Attention-based learning for fine-grained image recognition remains a challenging task, where most of the existing methods treat each object part in isolation, while neglecting the correlations among them. In addition, the multi-stage or multi-scale mechanisms involved make the existing methods less efficient and hard to be trained end-to-end. In this paper, we propose a novel attention-based convolutional neural network (CNN) which regulates multiple object parts among different input images. Our method first learns multiple attention region features of each input image through the one-squeeze multi-excitation (OSME) module, and then apply the multi-attention multi-class constraint (MAMC) in a metric learning framework. For each anchor feature, the MAMC functions by pulling same-attention same-class features closer, while pushing different-attention or different-class features away. Our method can be easily trained end-to-end, and is highly efficient which requires only one training stage. Moreover, we introduce Dogs-in-the-Wild, a comprehensive dog species dataset that surpasses similar existing datasets by category coverage, data volume and annotation quality. This dataset will be released upon acceptance to facilitate the research of fine-grained image recognition. Extensive experiments are conducted to show the substantial improvements of our method on four benchmark datasets.

研究の動機と目的

• 既存の弱教師付き細分類認識手法が物体の部分を独立して扱い、複雑で段階的な訓練を必要としているという限界を解消すること。
• 1回の順伝播で複数の相関のない部分を効率的に局所化できる、軽量で完全微分可能な注目メカニズムを開発すること。
• 注目領域とクラスIDの両方に基づいて特徴のクラスタリングを強制する、メトリクス学習に基づく損失（MAMC）を導入すること。
• 細分類認識研究の進展を図るため、高品質で大規模な犬種データセット「Dogs-in-the-Wild」を収集・公開すること。

提案手法

• 1つの圧縮による多重励起（OSME）モジュールは、特徴マップに対してチャネルごとの励起を適用することで、明示的なクリッピングや複数回の順伝播なしに複数の特徴的注目領域を特定する。
• OSMEは1つのグローバル平均プーリング（1つの圧縮）を用い、その後に複数の並列励起ブランチを配置することで、異なる物体部分に対応する多様な注目マップを生成する。
• 多重注意多重分類制約（MAMC）損失は、同じクラスで同じ注目領域からの特徴を埋め込み空間で近づけ、異なるクラスや異なる領域からの特徴を遠ざけるようにする。
• MAMCは、クラス内および注目領域内距離を最小化し、クラス間および注目領域間距離を最大化するメトリクス学習の目的関数として定式化される。
• ネットワーク全体が1段階のエンドツーエンド訓練で最適化され、従来の方法で一般的に見られる段階的な訓練手順を回避する。
• 本手法は、新たに導入された「Dogs-in-the-Wild」を含む4つのベンチマークデータセットで評価され、高カテゴリカバレッジ、大規模なデータ量、高品質なアノテーションを特徴としている。

実験結果

リサーチクエスチョン

• RQ1 部分アノテーションを一切用いずに、1つのエンドツーエンドで学習可能なネットワークが、細分類画像において複数の特徴的部分を効果的に局所化できるか？
• RQ2 複数の注目領域間の相関を統合的なメトリクス学習損失によって強制することで、分類精度が向上するか？
• RQ3 軽量で1つの圧縮による多重励起モジュールが、段階的またはスケール別アテンション機構に比べ、効率性と性能で優れているか？
• RQ4 本手法は、特に追加アノテーションに依存しない状況において、細分類認識ベンチマークで最先端の手法と比較してどうなるか？
• RQ5 新たに導入された「Dogs-in-the-Wild」データセットが、細分類認識のためのより困難なベンチマークを提示する程度はどの程度か？

主な発見

• CUB-200-2011データセットでは、ResNet-101を用いてトップ1精度87.1％を達成し、最高の結果（MACNN）と同等であり、追加アノテーションを必要としないPN-CNN（86.3％）やRAM（86.9％）を上回った。
• ResNet-50を用いた場合、追加アノテーションを必要としない2番目の手法（RAM）を0.2％、アノテーションを用いた2番目の手法（PN-CNN）を0.8％上回った。
• Stanford Dogsでは91.7％の精度を達成し、RACNN（複数段階の訓練を用いる）を除くすべての弱教師付き手法を上回った。
• Stanford Carsでは93.0％の精度を達成し、DVAN や RAN といったスケール別・段階的モデルを含む、比較されたすべての手法を上回った。
• 新たに導入された「Dogs-in-the-Wild」データセットでは、最高の精度を記録し、より困難で多様性に富み、現実的であるベンチマークでも高いロバスト性を示した。
• 可視化により、OSMEの注目領域が人間が識別する部分（頭部、尾部、ボディシェイプなど）と一致していることが確認され、効果的で意味のある局所化が行われていることが示された。