[論文レビュー] Attention-Driven Dynamic Graph Convolutional Network for Multi-Label Image Recognition

Jin Ye, Junjun He+3 more|arXiv (Cornell University)|Dec 5, 2020

Text and Document Classification Technologies参考文献 35被引用数 4

ひとこと要約

本稿では、静的ラベル依存性グラフにおける周波数バイアス問題を克服するため、コンテンツに適応したカテゴリ表現を用いて画像固有のグラフを動的に構築する、アテンション駆動型ダイナミックグラフ畳み込みネットワーク（ADD-GCN）を提案する。静的および動的グラフを統合して使用する動的GCN（D-GCN）と、セマンティックアテンションモジュール（SAM）を組み合わせることで、MS-COCOで85.2%、VOC2007で96.0%、VOC2012で95.5%の最先端のmAPを達成した。

ABSTRACT

Recent studies often exploit Graph Convolutional Network (GCN) to model label dependencies to improve recognition accuracy for multi-label image recognition. However, constructing a graph by counting the label co-occurrence possibilities of the training data may degrade model generalizability, especially when there exist occasional co-occurrence objects in test images. Our goal is to eliminate such bias and enhance the robustness of the learnt features. To this end, we propose an Attention-Driven Dynamic Graph Convolutional Network (ADD-GCN) to dynamically generate a specific graph for each image. ADD-GCN adopts a Dynamic Graph Convolutional Network (D-GCN) to model the relation of content-aware category representations that are generated by a Semantic Attention Module (SAM). Extensive experiments on public multi-label benchmarks demonstrate the effectiveness of our method, which achieves mAPs of 85.2%, 96.0%, and 95.5% on MS-COCO, VOC2007, and VOC2012, respectively, and outperforms current state-of-the-art methods with a clear margin. All codes can be found at https://github.com/Yejin0111/ADD-GCN.

研究の動機と目的

• 訓練データにおける共起頻度がモデルの予測に不適切に影響を与える、静的ラベル依存性グラフにおける周波数バイアス問題に対処すること。
• グローバルで固定されたグラフに依存するのではなく、画像固有のラベル関係を学習することで、マルチラベル認識のロバスト性を向上させること。
• 各入力画像内のラベル間で細分化されたコンテンツに適応した意味的関係をモデル化することで、特徴の識別能を向上させること。
• 意味的アテンションと動的グラフ学習を統合したエンドツーエンドのフレームワークを構築し、マルチラベル分類を改善すること。

提案手法

• セマンティックアテンションモジュール（SAM）を用いて、意味的領域に注目することで、畳み込み特徴マップをコンテンツに適応したカテゴリ固有の表現に分解する。
• カテゴリ固有の表現に軽量なネットワークを適用して、画像固有のラベル関係モデリングを可能にする動的相関行列を構築する。
• グローバルな共起頻度から学習された静的グラフと、画像ごとに学習される動的グラフを統合した動的GCN（D-GCN）を用いて、特徴の共同伝搬を実現する。
• 両方のグラフ上でグラフ畳み込み演算を実行し、カテゴリ表現を精緻化した後、グローバル平均プーリングと各ラベルの分類を実行する。
• 分類器の後にGMP（グローバルマックスプーリング）を適用する、修正されたCAMスタイルのメカニズムを用いて、判別性の高い部分をよりよく保持し、特徴表現を向上させる。
• 和、平均、最大プーリングを用いてカテゴリ固有の特徴を統合し、アブレーションスタディで和プーリングが優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 静的で周波数ベースのグラフと比較して、動的で画像固有のラベル依存性グラフは、マルチラベル認識性能を向上させることができるか？
• RQ2 アテンション機構によるコンテンツに適応したカテゴリ表現は、関連する意味的領域の局所化と区別能力を向上させるか？
• RQ3 静的および動的グラフの共同学習フレームワークは、粗いおよび細かいラベル依存関係をよりよく捉えることができるか？
• RQ4 提案手法は、既存の最先端手法と比較して、標準ベンチマークでどのように性能を発揮するか？
• RQ5 修正されたCAMメカニズム（cls → GMP）は、特徴表現と分類精度の向上にどの程度寄与しているか？

主な発見

• ADD-GCNは、MS-COCOベンチマークで85.2%の新しい最先端のmAPを達成し、従来手法を顕著に上回った。
• VOC2007データセットでは、96.0%のmAPを達成し、マルチラベル認識の新記録を樹立した。
• VOC2012ベンチマークでは、95.5%のmAPを達成し、強力な汎化性能とロバスト性を示した。
• アブレーションスタディの結果、和プーリングによるカテゴリ固有の特徴表現が、平均や最大プーリングのような集約表現を上回ることを確認した。
• 可視化結果から、SAMが関連カテゴリの意味的領域を正確に局所化しており、動的グラフが意味的で画像固有のラベル相関を学習していることが示された。
• 修正されたCAMメカニズム（cls → GMP）は、標準のGAPおよびGMPベースラインを上回り、特徴の識別能とロバスト性の向上を示した。