[論文レビュー] Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classification.

Yuxin Peng, Xiangteng He+1 more|arXiv (Cornell University)|Apr 6, 2017

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文では、オブジェクトやパーツのアノテーションを必要とせずに、判別的なパーツの局所化を可能にする弱教師付きの細分類手法OPADDLを提案する。オブジェクトとパーツの間の空間的制約を統合することで、局所化の正確性を向上させ、3つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Fine-grained image classification is to recognize hundreds of subcategories belonging to the same basic-level category, such as 200 subcategories belonging to bird, and highly challenging due to large variance in same subcategory and small variance among different subcategories. Existing methods generally find where the object or its parts are and then discriminate which subcategory the image belongs to. However, they mainly have two limitations: (1) Relying on object or parts annotations which are heavily labor consuming. (2) Ignoring the spatial relationship between the object and its parts as well as among these parts, both of which are significantly helpful for finding discriminative parts. Therefore, this paper proposes the object-part attention driven discriminative localization (OPADDL) approach for weakly supervised fine-grained image classification, and the main novelties are: (1) Object-part attention model integrates two level attentions: object-level attention localizes objects of images, and part-level attention selects discriminative parts of object. Both are jointly employed to learn multi-view and multi-scale features to enhance their mutual promotion. (2) Object-part spatial model combines two spatial constraints: object spatial constraint ensures selected parts highly representative, and part spatial constraint eliminates redundancy and enhances discrimination of selected parts. Both are jointly employed to exploit the subtle and local differences for distinguishing the subcategories. Importantly, neither objects nor parts annotations are used, which avoids the heavy labor consuming of labeling. Comparing with more than 10 state-of-the-art methods on 3 widely used datasets, our OPADDL approach achieves the best performance.

研究の動機と目的

• 外見がわずかに異なるサブカテゴリを識別する細分類の課題に対処すること。
• トレーニングに高コストなオブジェクトまたはパーツアノテーションに依存する既存手法の限界を克服すること。
• オブジェクトとそのパーツの空間的関係をモデル化することで識別性を向上させ、サブカテゴリ分類のための特徴表現を強化すること。
• 境界ボックスやパーツレベルのアノテーションを一切必要としない弱教師付きアプローチを開発し、高い性能を達成すること。
• オブジェクトとパーツの注目メカニズムの共同最適化を通じて、マルチスケール・マルチビュー特徴学習を実現すること。

提案手法

• 2段階の注目を適用するオブジェクト-パーツ注目モデルを導入：オブジェクトレベルの注目は主なオブジェクトを局所化し、パーツレベルの注目はオブジェクト内に存在する判別的パーツを特定する。
• オブジェクトとパーツの注目を共同で最適化することで、複数スケールおよび複数ビューにおける特徴の相互強化を促進する。
• 選択されたパーツがオブジェクトのサブカテゴリを強く代表するように保証するためのオブジェクト空間的制約を設計する。
• 相対的な空間的配置をモデル化することで、重複を低減し、選択されたパーツの特徴をより明確にするためのパーツ空間的制約を実装する。
• 両方の空間的制約を統合し、細分類カテゴリを区別する上で極めて微細な局所的差異を効果的に活用する。
• 境界ボックスやパーツアノテーションを一切必要とせず、画像レベルのラベルのみを用いて、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 パーツレベルのアノテーションが一切ない状況下でも、注目ベースのメカニズムが細分類画像における判別的パーツを効果的に局所化できるか？
• RQ2 オブジェクトとそのパーツの間の空間的関係をモデル化することで、細分類認識における分類性能がどのように向上するか？
• RQ3 オブジェクトレベルとパーツレベルの注目を共同で最適化することで、弱教師付き設定下での特徴表現がどの程度強化されるか？
• RQ4 空間的制約の統合は、標準的な注目メカニズムと比較して、より頑健で判別性の高い局所化を実現するか？
• RQ5 提案手法は、いかなるパーツまたはオブジェクトアノテーションを必要とせずに、標準的な細分類ベンチマークで最先端の性能を達成できるか？

主な発見

• OPADDLは、広く使われている3つの細分類画像分類データセットにおいて、10以上のSOTA手法を上回る最高の性能を達成した。
• 提案されたオブジェクト-パーツ注目メカニズムは、パーツレベルやオブジェクトレベルのアノテーションを一切必要とせず、効果的に判別的パーツを局所化した。
• オブジェクトとパーツの空間的制約を統合することで、代表的で重複のないパーツに注目するようになり、局所化の正確性が顕著に向上した。
• 二重の注目を用いたマルチスケールおよびマルチビュー特徴の共同最適化により、より強力な判別的表現が得られた。
• 弱教師付き設定下でも、細分類タスクにおける優れた一般化性能と頑健性を示した。
• アブレーションスタディの結果、オブジェクトレベルおよびパーツレベルの注目コンponentsに加え、空間的制約の両方が最終的な性能に顕著に寄与していることが確認された。