[論文レビュー] Attention for Fine-Grained Categorization

Pierre Sermanet, Andrea Frome+1 more|arXiv (Cornell University)|Dec 22, 2014

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 119

ひとこと要約

本稿では、スタンフォード・ドッグスデータセットにおける細粒度分類のため、視覚的アテンションを備えたエンド・ツー・エンドで学習可能な再帰的ニューラルネットワークを提案する。境界ボックスの教師なしで、顔や被毛の模様といった判別能のある領域に注目する能力を学習することで、76.8%の平均精度を達成し、SOTAのGoogLeNetモデルを上回った。

ABSTRACT

This paper presents experiments extending the work of Ba et al. (2014) on recurrent neural models for attention into less constrained visual environments, specifically fine-grained categorization on the Stanford Dogs data set. In this work we use an RNN of the same structure but substitute a more powerful visual network and perform large-scale pre-training of the visual network outside of the attention RNN. Most work in attention models to date focuses on tasks with toy or more constrained visual environments, whereas we present results for fine-grained categorization better than the state-of-the-art GoogLeNet classification model. We show that our model learns to direct high resolution attention to the most discriminative regions without any spatial supervision such as bounding boxes, and it is able to discriminate fine-grained dog breeds moderately well even when given only an initial low-resolution context image and narrow, inexpensive glimpses at faces and fur patterns. This and similar attention models have the major advantage of being trained end-to-end, as opposed to other current detection and recognition pipelines with hand-engineered components where information is lost. While our model is state-of-the-art, further work is needed to fully leverage the sequential input.

研究の動機と目的

• 細粒度分類のような複雑で制約のない視覚的環境に、再帰的ニューラルネットワークベースのアテンションモデルを拡張すること。
• ごみや隠蔽、ポーズの変化がある中で、見た目が似たドッグブリードを分類する課題に対処すること。
• 手動でラベル付けされた境界ボックスに依存しないように、単一の統合アーキテクチャを通じてエンド・ツー・エンドで空間的アテンションを学習すること。
• アテンション機構が、計算効率を維持したまま、GoogLeNetのような従来のモデルを上回る性能を示すかどうかを評価すること。
• 明示的な空間的教師なしで、順次的なグリムスを通じて意味のある判別能のあるビジュアル特徴を学習できるかどうかを調査すること。

提案手法

• Baら（2014）のものに類似した再帰的ニューラルネットワーク（RNN）アーキテクチャを採用し、RNNが入力画像への複数のグリムスを生成する。
• 各グリムスから特徴を抽出するために、強力で大規模な事前学習済み畳み込みニューラルネットワーク（ビジュアルコア）を用い、RNNとは分離することで特徴学習を向上させる。
• 次に観察する高解像度画像パッチの空間的座標（x, y）とスケールを予測するグリムス選択メカニズムを採用し、回帰的出力で実装する。
• バックプロパゲーションを用いて、全システムをエンド・ツー・エンドで学習させ、特徴抽出とアテンション調整を同時に学習可能にする。
• 訓練中にデータオーグメンテーション（ミラー、明るさ、色のジャマ）を適用し、ロバストネスと一般化性能を向上させる。
• 120種のドッグブリードのNクラス分類スコアを出力するために、最終RNNステップでソフトマックス分類器を用いる。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドで学習可能なアテンション機構は、GoogLeNetのような非アテンションベースのSOTAモデルを、細粒度分類において上回ることができるか？
• RQ2 境界ボックスや空間的教師なしで、モデルは判別能のある部分（例：顔、被毛の模様）に注目する能力を学習できるか？
• RQ3 グリムスの数や解像度が性能に与える影響は何か？また、複数の順次的グリムスがモデルに利益をもたらすか？
• RQ4 低解像度のコンテキスト画像と数個の高解像度グリムスでのみ、高い精度を達成できるか？
• RQ5 現在のRNNベースのアテンション機構は、グリムス間の長距離依存関係を捉える能力にどのような限界を示しているか？

主な発見

• 提案されたアテンションモデルは、3つのグリムスを用いてスタンフォード・ドッグスデータセットで76.8%の平均精度を達成し、完全なGoogLeNetモデルの75.5%を上回った。
• 1つのグリムスと低解像度入力（96×96）でも、70.3%の精度に達し、低解像度のGoogLeNetベースライン（58.8%）を著しく上回った。
• 境界ボックスや空間的教師なしで、顔や被毛の模様といった判別能のある領域に注目する能力を学習した。
• グリムスの数を増やすことで得られる性能向上は急速に減少し、1から3つのグリムスに増やすとわずか0.5%の向上にとどまり、2〜3つのグリムスを超えては効果が限定的であることが示唆された。
• 高解像度のみのグリムスモデルでは、3つのグリムスで49.6%の精度にとどまり、各グリムスを高解像度に制限すると情報量の増加が制限され、マルチリゾリューショングリムスの方が高い性能を示した。
• モデルは、画像に2匹のドッグがいる場合、その中央付近に注目する病理的傾向を示しており、これはグリムスメカニズムにおける回帰的座標予測に起因している可能性がある。