[論文レビュー] Multi-Label Image Recognition with Graph Convolutional Networks

Zhao-Min Chen, Xiu-Shen Wei+2 more|arXiv (Cornell University)|Apr 7, 2019

Text and Document Classification Technologies参考文献 35被引用数 62

ひとこと要約

論文は ML-GCN を紹介する。グラフ畳み込みネットワークに基づくモデルがラベル語埋め込みを相互依存するオブジェクト分類器へマッピングし、それらを画像特徴に適用してエンドツーエンドのマルチラベル認識を実現する。伝搬と一般化を改善するための再重み付けされたラベル相関マトリクスを適用。

ABSTRACT

The task of multi-label image recognition is to predict a set of object labels that present in an image. As objects normally co-occur in an image, it is desirable to model the label dependencies to improve the recognition performance. To capture and explore such important dependencies, we propose a multi-label classification model based on Graph Convolutional Network (GCN). The model builds a directed graph over the object labels, where each node (label) is represented by word embeddings of a label, and GCN is learned to map this label graph into a set of inter-dependent object classifiers. These classifiers are applied to the image descriptors extracted by another sub-net, enabling the whole network to be end-to-end trainable. Furthermore, we propose a novel re-weighted scheme to create an effective label correlation matrix to guide information propagation among the nodes in GCN. Experiments on two multi-label image recognition datasets show that our approach obviously outperforms other existing state-of-the-art methods. In addition, visualization analyses reveal that the classifiers learned by our model maintain meaningful semantic topology.

研究の動機と目的

• ラベルの依存関係をモデル化・活用してマルチラベル画像認識を改善する。
• Graph Convolutional Networks を通じて語埋め込みからラベル間の相互依存分類器を学習する。
• データ駆動の再 weighting 相関マトリクスを導入し、情報伝搬を誘導・過度平滑化を緩和する。
• 標準的なベンチマークでエンドツーエンドの訓練性を示し、優れた性能を達成する。

提案手法

• 各ラベルを語埋め込みとして表現し、 directed label graph を構築する。
• スタックした GCN を用いてラベル埋め込みを相互依存する分類器 W の集合へマッピングする。
• 分類器 W を CNN によって抽出された画像特徴 x に適用して予測 ŷ = W x を得る。
• ラベルの共起からデータ駆動のラベル相関マトリクス A を構築し、しきい値 τ で二値化して A を形成する。
• ノード自身の重みと近傍の影響をバランスさせ、過平滑化を抑制する再 weighting スキーム A' を導入する。
• 標準的なマルチラベル分類損失でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 ラベルの依存関係を明示的にモデル化してマルチラベル認識性能を改善するにはどうすればよいか。
• RQ2 ラベル埋め込みを共起パターンを活用する相互依存分類器に変換できるか。
• RQ3 再 weighting 相関マトリクスは GCN ベースのラベルモデリングにおける過剰適合と過度平滑化を減らすか。
• RQ4 学習された分類器はラベル間の意味的トポロジーを意味のある形で反映しているか。

主な発見

• 再 weighting 相関マトリクスを用いた ML-GCN は MS-COCO および VOC 2007 で一貫して最先端の方法を上回る。
• 二値相関を用いると再 weighting スキームよりも過平滑化が生じ、性能が劣る。
• 再 weighting スキームは mAP、CF1、OF1 などの主要指標をデータセット全体で改善する。
• 語埋め込みは有効だが単独では改善を説明できず、GCN ベースのマッピングと相関モデリングが大きな改善をもたらす。
• 分類器の可視化は意味のある意味論的トポロジーを示し、関連ラベルが分類器空間でクラスターを形成する。
• ML-GCN による学習済みの画像表現は、素の ResNet ベースラインと比較して画像検索の品質を向上させる。