[論文レビュー] Multi-Label Image Recognition with Multi-Class Attentional Regions.

Bin-Bin Gao, Hong-Yu Zhou|arXiv (Cornell University)|Jul 3, 2020

Text and Document Classification Technologies参考文献 1被引用数 13

ひとこと要約

本稿では、冗長な領域を最小限に抑えつつ多様性を最大化するためのマルチクラス注目領域モジュールを活用した、シンプルで効率的な二ストリームフレームワークを提案する。パrameterized領域生成を伴わず、グローバル画像特徴と局所的注目領域を統合することで、ラベル依存性を一切用いず、画像の意味情報のみを用いて3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Multi-label image recognition is a practical and challenging task compared to single-label image classification. However, previous works may be suboptimal because of a great number of object proposals or complex attentional region generation modules. In this paper, we propose a simple but efficient two-stream framework to recognize multi-category objects from global image to local regions, similar to how human beings perceive objects. To bridge the gap between global and local streams, we propose a multi-class attentional region module which aims to make the number of attentional regions as small as possible and keep the diversity of these regions as high as possible. Our method can efficiently and effectively recognize multi-class objects with an affordable computation cost and a parameter-free region localization module. Over three benchmarks on multi-label image classification, we create new state-of-the-art results with a single model only using image semantics without label dependency. In addition, the effectiveness of the proposed method is extensively demonstrated under different factors such as global pooling strategy, input size and network architecture.

研究の動機と目的

• 多数のオブジェクト候補や複雑な注目モジュールに依存する従来のマルチラベル画像認識手法の非効率性と複雑さに対処すること。
• 認識精度の向上を図るために、注目領域の数を減らしつつその多様性を維持すること。
• 計算コストを最小限に抑えるパラメータフリーの領域局所化メカニズムを開発すること。
• ラベル依存性に依存せずにマルチラベル画像分類で最先端の性能を達成すること。
• グローバルプーリング戦略、入力サイズ、ネットワークアーキテクチャの変動に対して、手法の頑健性と有効性を評価すること。

提案手法

• フレームワークは二ストリームアーキテクチャを採用：一方のストリームは全体的な意味を捉えるためのグローバル画像処理を、もう一方は局所的注目領域に焦点を当てる。
• マルチクラス注目領域モジュールは、領域数と多様性のバランスを取ることで、動的に最も関連性の高い領域を特定する。
• 学習可能なパラメータを一切持たないため、計算が効率的で、容易に統合可能である。
• クラス固有の活性化に基づいて注目領域が生成されるため、複数のオブジェクトカテゴリに関連する。
• グローバル特徴とローカル特徴を統合することで、複数のラベルに対する共同予測が可能になる。
• エンドツーエンドで学習可能であり、後処理やラベル依存性モデリングを必要としない。

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーの注目領域モジュールは、マルチラベル画像認識において、冗長性を効果的に低減しつつ多様性を維持できるか？
• RQ2 提案された二ストリームフレームワークは、既存手法と比較して、精度と計算効率の両面で優れているか？
• RQ3 本手法は、異なるグローバルプーリング戦略、入力解像度、バックボーンアーキテクチャに対してどの程度一般化可能か？
• RQ4 ラベル依存性モデリングが欠如していることで、マルチラベルベンチマークでの性能に悪影響を及えるか？
• RQ5 画像の意味情報のみと極めて少ない数の注目領域で、最先端の結果を達成できるか？

主な発見

• 提案手法は、単一のモデルで3つのマルチラベル画像分類ベンチマークで新たな最先端性能を達成した。
• 先行手法と比較して、著しく少ない注目領域数で高い精度を維持しており、冗長性が低減された。
• パラメータフリーの領域局所化モジュールのおかげで、計算コストが低く、高速な推論が可能となった。
• 異なるグローバルプーリング戦略、入力サイズ、ネットワークアーキテクチャに対して、強力な一般化性能を示した。
• ラベル依存性モデリングが欠如しているにもかかわらず性能が低下せず、手法が画像の意味情報にのみ依存していることを確認した。
• マルチクラス注目領域モジュールは、領域数と多様性のバランスを効果的にとることで、複数のオブジェクトカテゴリの認識が向上した。