[論文レビュー] Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

Renchun You, Zhiyao Guo+4 more|arXiv (Cornell University)|Dec 17, 2019

Text and Document Classification Technologies参考文献 39被引用数 16

ひとこと要約

本稿では、マルチラベル画像および動画分類のための、意味的グラフ埋め込みを用いたクロスモダリティアテンションメカニズムを提案する。隣接性に基づく類似度グラフ埋め込みを用いてラベル間の関係を学習し、その埋め込みをアテンションマップのガイドとして用いることで、特徴の局所化を向上させるとともに、空間的・時間的依存関係を捉える。MS-COCO、NUS-WIDE、YouTube-8M Segments データセットにおいて、最先端の性能を達成した。

ABSTRACT

Multi-label image and video classification are fundamental yet challenging tasks in computer vision. The main challenges lie in capturing spatial or temporal dependencies between labels and discovering the locations of discriminative features for each class. In order to overcome these challenges, we propose to use cross-modality attention with semantic graph embedding for multi label classification. Based on the constructed label graph, we propose an adjacency-based similarity graph embedding method to learn semantic label embeddings, which explicitly exploit label relationships. Then our novel cross-modality attention maps are generated with the guidance of learned label embeddings. Experiments on two multi-label image classification datasets (MS-COCO and NUS-WIDE) show our method outperforms other existing state-of-the-arts. In addition, we validate our method on a large multi-label video classification dataset (YouTube-8M Segments) and the evaluation results demonstrate the generalization capability of our method.

研究の動機と目的

• マルチラベル画像および動画分類におけるラベル間の意味的依存関係を捉える課題に対処すること。
• アテンション機構に意味的ガイダンスを組み込むことで、判別的な画像または動画領域の局所化を向上させること。
• 学習された意味的グラフ埋め込みを用いてラベル関係を明示的にモデル化し、分類性能を向上させること。
• 画像および動画のマルチラベル分類タスクに効果的で汎用性の高いフレームワークを開発すること。

提案手法

• ラベルの共起性および類似度をグラフ構造で活用することで、意味的ラベル埋め込みを学習する隣接性に基づく類似度グラフ埋め込み（ASGE）手法を提案する。
• 学習済みのラベル埋め込みを事前ガイダンスとして用いてアテンションマップを生成するクロスモダリティアテンション（CMA）を導入し、解釈可能性と関連性を向上させる。
• 視覚的特徴を共有の意味的空間に投影することで、視覚的特徴とラベル埋め込みの間のクロスモダリティアライメントを可能にする。
• カテゴリごとのアテンションマップを用いて視覚的特徴を集約し、最終的な分類器ヘッドを介して分類する。
• ASGE および CMA モジュールをエンドツーエンドで統合する共同最適化フレームワークを採用し、特徴およびラベル表現の共同学習を実現する。
• ASGE の学習に緩和技術を適用し、画像および動画のベンチマークでSGDとモーメンタムを用いて最適化を実行する。

実験結果

リサーチクエスチョン

• RQ1 ラベル関係の明示的モデリングは、マルチラベル画像分類の性能向上に寄与するか？
• RQ2 学習済みの意味的ラベル埋め込みでガイドされたアテンション機構は、標準的な自己アテンションよりも判別性の高い画像領域をより正確に局所化できるか？
• RQ3 提案されたCMA機構は、時間的依存関係を有する動画分類タスクに効果的に一般化できるか？
• RQ4 意味的グラフ埋め込みの統合は、マルチラベル分類における空間的または時間的文脈モデリングをどのように向上させるか？

主な発見

• MS-COCO データセットでは、提案手法がmAP 83.8%を達成し、以前の最先端手法（MS-CMA）を0.4ポイント上回った。
• NUS-WIDE データセットでは、多様なマルチラベルベンチマークにわたる強力な一般化性能を示し、最先端の性能を達成した。
• YouTube-8M Segments データセットでは、SNetベースのアーキテクチャを用いたCMAモデルがmAP 55.8%を達成し、自己アテンションベースラインを2.6ポイント上回った。
• 可視化結果から、CMAアテンションマップが意味的に関連する領域（例：テニスラケットとボールの両方に注目）をより正確に捉えていることが示された。
• 関連ラベルからの文脈的手がかりを活用することで、小さなまたは識別が難しい物体の検出においてもモデルの頑健性が向上した。
• アブレーションスタディの結果、音声やアンサンブルを用いないフレームレベル特徴のみを用いても、標準的な自己アテンションに比べてCMA機構が顕著に性能向上をもたらすことが確認された。