[論文レビュー] Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition

Xiao Liu, Jiang Wang+3 more|arXiv (Cornell University)|May 20, 2016

Advanced Neural Network Applications参考文献 16被引用数 17

ひとこと要約

本論文は、部分属性記述（例：'赤い羽'）を弱い教師信号として用い、強化学習を用いて複数の完全畳み込み型注意ネットワークを訓練する、属性誘導型注意局在フレームワークを提案する。新しい報酬戦略を設計することで、カテゴリのみの教師信号よりも、意味的かつ空間的に特徴的な部分をより正確に局在化できるようになり、ボクシングボックスのアノテーションを必要としないまま、CUB-200-2011で最先端の認識精度を達成した。

ABSTRACT

A key challenge in fine-grained recognition is how to find and represent discriminative local regions. Recent attention models are capable of learning discriminative region localizers only from category labels with reinforcement learning. However, not utilizing any explicit part information, they are not able to accurately find multiple distinctive regions. In this work, we introduce an attribute-guided attention localization scheme where the local region localizers are learned under the guidance of part attribute descriptions. By designing a novel reward strategy, we are able to learn to locate regions that are spatially and semantically distinctive with reinforcement learning algorithm. The attribute labeling requirement of the scheme is more amenable than the accurate part location annotation required by traditional part-based fine-grained recognition methods. Experimental results on the CUB-200-2011 dataset demonstrate the superiority of the proposed scheme on both fine-grained recognition and attribute recognition.

研究の動機と目的

• カテゴリラベルのみを用いた弱い教師付き手法が、複数の特徴的部位の局在化に失敗するという制限を解消すること。
• カテゴリラベルよりも情報量の多い部分属性記述を活用することで、部位局在の正確性を向上させること。
• 属性予測によって誘導される部分固有の局在ポリシーを学習する強化学習ベースのフレームワークを開発すること。
• ボクシングボックスや部位位置ラベルといった強教師信号を必要とせず、最先端の細分化認識性能を達成すること。

提案手法

• 各ネットワークが特定のオブジェクト部位の属性を予測する、複数の完全畳み込み型注意局在ネットワークを訓練する。
• マルチラベル属性予測損失と局在信頼度を組み合わせた、新しい報酬関数を設計し、強化学習の指針とする。
• 深層Qネットワーク（DQN）を用い、状態を入力画像とし、行動を注目すべき空間領域とする局在ポリシーを学習する。
• 推論時、局在化された部位の特徴と全体画像の特徴を連結し、分類器に供給して最終的なカテゴリ予測を行う。
• 高い属性予測損失をペナルティとし、不確実性や誤差が大きい領域に注目するよう促す報酬戦略を導入する。
• 部分局在化器と属性予測器を共有された画像特徴を通じて共同最適化する、マルチタスク学習の枠組みを採用する。

実験結果

リサーチクエスチョン

• RQ1 部分属性記述は、細分化認識における特徴的部位の局在化を向上させる有効な弱い教師信号として機能するか？
• RQ2 属性誘導型注意局在を用いることで、カテゴリのみの教師信号に比べて認識精度が向上するか？
• RQ3 新しい報酬関数を用いた強化学習により、意味的および空間的に異なる複数の部位を効果的に局在化できるか？
• RQ4 本手法は、完全教師付きおよび他の弱い教師付きベースラインと比較して、局在化精度および認識性能の面で優れているか？

主な発見

• 提案手法は、CUB-200-2011データセットにおいて、ボクシングボックスなし（without BB）とあり（with BB）の設定で、それぞれ85.4%および85.5%のトップ1精度を達成し、最先端の手法を上回った。
• 4つの部位ベースのモデルと属性特徴を組み合わせた特徴は85.4%の精度を達成し、統合表現学習の有効性を示した。
• 従来の弱い教師付き手法よりも部位の局在化が正確である—例えば、Liuら[5]が失敗した尾の部位を効果的に特定できた。
• 属性記述を教師信号として用いることで、高コストな部位位置アノテーションの必要性を低減しつつ、カテゴリのみの教師信号に比べて性能が向上した。
• 報酬戦略の可視化から、200回の訓練イテレーション後に注意ポリシーが正しい領域（例：頭部）に収束していることが確認され、効果的な学習が行われたことが裏付けられた。
• R-CNNによる幾何的正則化を組み込んだ共同学習は、精度を顕著に向上させず（85.1% → 85.2%）、ポーズのばらつきがこのデータセットにおける幾何モデリングの限界を示唆した。