[論文レビュー] Coarse to Fine: Multi-label Image Classification with Global/Local Attention

Fan Lyu, Fuyuan Hu+4 more|arXiv (Cornell University)|Dec 26, 2020

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 4

ひとこと要約

本稿では、人間の視覚的認知を模倣するため、まず全体像に注目し、その後特定の物体に注目するという粗くから細かくまでのマルチラベル画像分類モデルを提案する。グローバルおよびローカルの注目メカニズムを用い、さらに性能を向上させるための共同マックスマージン目的関数を導入した。Pascal VOC 2007（85.6% mAP）および MS-COCO（64.64% mAP）で最先端の結果を達成した。

ABSTRACT

In our daily life, the scenes around us are always with multiple labels especially in a smart city, i.e., recognizing the information of city operation to response and control. Great efforts have been made by using Deep Neural Networks to recognize multi-label images. Since multi-label image classification is very complicated, people seek to use the attention mechanism to guide the classification process. However, conventional attention-based methods always analyzed images directly and aggressively. It is difficult for them to well understand complicated scenes. In this paper, we propose a global/local attention method that can recognize an image from coarse to fine by mimicking how human-beings observe images. Specifically, our global/local attention method first concentrates on the whole image, and then focuses on local specific objects in the image. We also propose a joint max-margin objective function, which enforces that the minimum score of positive labels should be larger than the maximum score of negative labels horizontally and vertically. This function can further improve our multi-label image classification method. We evaluate the effectiveness of our method on two popular multi-label image datasets (i.e., Pascal VOC and MS-COCO). Our experimental results show that our method outperforms state-of-the-art methods.

研究の動機と目的

• 人間の視覚的注意を模倣することで、複雑なシーン理解の課題にマルチラベル画像分類の文脈で対処すること。
• 構造的な注目メカニズムを導入することで、不要またはノイズの多い背景特徴の影響を低減すること。
• グローバルなシーンコンテキストとローカルなオブジェクト固有の特徴を両方モデル化することで、ラベル予測性能を向上させること。
• 新たな共同マックスマージン目的関数により、正例と負例のラベルスコアの区別を強化すること。
• 標準的なマルチラベルベンチマーク、Pascal VOCおよびMS-COCO上で提案手法の有効性を検証すること。

提案手法

• 最終畳み込み層から画像特徴を抽出するために、CNNエンコーダー（VGG-16）を用いる。
• 最終特徴マップからグローバル注目を生成し、画像の粗い全体像を表現する。
• 各デコードステップでローカル注目を適用するRNNデコーダーを用い、個々のラベル予測に特定の画像領域に注目する。
• 正例と負例のスコアの間にマージンを強制する共同マックスマージン目的関数を導入する。この関数は水平方向および垂直方向の両方で有効である。
• ハイパーパrameter λ₁ = 5×10⁻² および λ₂ = 5×10⁻² を用いて、交差エントロピー損失とマックスマージン正則化子の組み合わせでモデルを最適化する。
• アテンションマップをアップスケーリングし、ガウスフィルタを適用することで、トレーニングエポックにわたるモデルの注目ダイナミクスを解釈可能に可視化する。

Figure 1: The schematic of the proposed architecture. The encoder CNN extracts feature from images, and computes the global attention from the feature map. Then, the attended features are sent to the decoder RNN. At every step of RNN, we focus on each local attention to guide the prediction.

実験結果

リサーチクエスチョン

• RQ1 粗くから細かくまでの注目メカニズムは、シーンコンテキストとオブジェクト固有の特徴をよりよくモデル化することで、マルチラベル画像分類の性能を向上させることができるか？
• RQ2 グローバルおよびローカルの注目を統合することで、単一のグローバルまたはローカル注目を使用するモデルと比較して、性能がどのように向上するか？
• RQ3 共同マックスマージン目的関数は、マルチラベル設定において正例と負例のラベルの区別をどの程度向上させるか？
• RQ4 アテンションマップはトレーニング中にどのように変化するか？また、それらは人間の視覚的スキャン行動を反映しているか？
• RQ5 提案手法は、Pascal VOC や MS-COCO のような標準的なマルチラベルベンチマークで最先端の性能を達成するか？

主な発見

• 提案手法はPascal VOC 2007で85.6% mAPを達成し、HCP-2000Cを含む、追加で2000クラスを訓練に用いたすべての比較手法を上回った。
• ローカル注目モデル（VGG+LSTM+L/G）にグローバル注目を追加したことで、mAPは85.2%から85.4%に向上し、シーンレベルのコンテキストの利点が裏付けられた。
• 共同マックスマージン目的関数（VGG+LSTM+L/G+MM）を導入することで、さらに性能が向上し、mAPは85.6%に到達した。これは、ラベルの区別を向上させる有効性を確認した。
• MS-COCOでは64.64% mAPを達成し、VGG+LSTM+L/Gベースラインの64.07%を上回り、トップ3およびトップ5性能を含むほとんどの指標で他の手法を上回った。
• 可視化結果から、アテンションがトレーニング中にグローバル（広範囲の画像カバレッジ）からローカル（特定のオブジェクトに集中）へと進化することが確認され、人間の視覚的注目パターンを模倣していることが示された。
• VGG+LSTMはVGG単体と比較して性能が低下したことは、RNNベースのデコードに注目がなければ、MS-COCOのような大規模でラベルが密集したデータセットではノイズが導入されたり、性能が劣化する可能性があることを示唆している。

(a) Global attention