[論文レビュー] Multi-Label Classification with Label Graph Superimposing

Ya Wang, Dongliang He+5 more|arXiv (Cornell University)|Nov 21, 2019

Text and Document Classification Technologies参考文献 32被引用数 14

ひとこと要約

本稿では、ラベル相関をより効果的にモデル化するために、統計的共起グラフに知識グラフを重畝するKSSNetという、新しいマルチラベル分類フレームワークを提案する。GCNとCNNの複数の深さにおける横方向接続を導入することで、ラベルシステムに配慮した特徴抽出を強化し、MS-COCOおよびCharadesでそれぞれ6.4%および12.0%のmAP向上を達成し、最先端の性能を実現した。

ABSTRACT

Images or videos always contain multiple objects or actions. Multi-label recognition has been witnessed to achieve pretty performance attribute to the rapid development of deep learning technologies. Recently, graph convolution network (GCN) is leveraged to boost the performance of multi-label recognition. However, what is the best way for label correlation modeling and how feature learning can be improved with label system awareness are still unclear. In this paper, we propose a label graph superimposing framework to improve the conventional GCN+CNN framework developed for multi-label recognition in the following two aspects. Firstly, we model the label correlations by superimposing label graph built from statistical co-occurrence information into the graph constructed from knowledge priors of labels, and then multi-layer graph convolutions are applied on the final superimposed graph for label embedding abstraction. Secondly, we propose to leverage embedding of the whole label system for better representation learning. In detail, lateral connections between GCN and CNN are added at shallow, middle and deep layers to inject information of label system into backbone CNN for label-awareness in the feature learning process. Extensive experiments are carried out on MS-COCO and Charades datasets, showing that our proposed solution can greatly improve the recognition performance and achieves new state-of-the-art recognition performance.

研究の動機と目的

• 統計的共起パターンと外部の知識グラフを組み合わせることで、マルチラベル認識におけるラベル相関のモデル化の課題に取り組む。
• ラベルシステムの構造をCNN特徴抽出プロセスに統合することで、推論時のみにラベルを扱うのではなく、特徴表現学習を向上させる。
• 深層GCNにおける過剰平滑化を軽減するため、横方向接続と冗長性制御メカニズムを導入する。
• 計算コストの増加を最小限に抑えながら、画像および動画のマルチラベル認識タスクの両方で性能を向上させる統合フレームワークを構築する。

提案手法

• ラベル共起統計（A_S）と知識グラフ（ConceptNet）（A_K）から2つの隣接行列を構築し、それぞれ統計的および事前知識に基づくラベル関係を表す。
• 2つのグラフを重畝して最終的な隣接行列 A = λA_S + (1−λ)A_K を得る。ここで λ は学習可能な重畝み重みである。
• ConceptNetからの事前学習済みノード表現を用いてラベル埋め込みを初期化し、ラベルグラフ内の意味的事前知識を強化する。
• 重畝されたグラフ上でマルチレイヤーのグラフ畳み込みネットワーク（GCN）を適用し、統計的および事前知識に基づく相関を捉えた文脈に適したラベル埋め込みを学習する。
• 浅い、中程度の、深い層の3段階でCNNとGCNの間に横方向接続（LC）を導入し、ラベル埋め込みをCNN特徴マップに注入することで、ラベルに配慮した特徴抽出を促進する。
• LCの勾配信号を用いてGCNの学習を正則化し、過剰平滑化を軽減するための冗長エッジ削除を適用する。

実験結果

リサーチクエスチョン

• RQ1 統計的共起パターンと外部の知識グラフを組み合わせることで、ラベル相関モデリングをどのように改善できるか？
• RQ2 複数のCNN層にラベルシステム情報を注入することで、マルチラベル認識のための特徴表現学習が向上するか？
• RQ3 提案された重畝グラフ構築法は、統計的グラフや知識ベースのグラフのみを用いる場合よりも優れているか？
• RQ4 GCNの深さが性能に与える影響は何か、特に過剰平滑化の影響を受けるか？
• RQ5 横方向接続メカニズムは、マルチラベル設定における特徴抽出の正則化と一般化性能の向上に有効に機能するか？

主な発見

• 統計的および知識ベースのグラフを重畝して得られるKSグラフは、MS-COCOおよびCharadesの両データセットで最良の性能を達成した。
• KSSNetは、MS-COCOで単純なCNNベースラインに対して6.4%のmAP絶対値向上を達成し、新たな最先端性能を樹立した。
• Charadesデータセットでは、ベースライン比で12.0%のmAP向上を達成し、動画認識タスクへの強い一般化性能を示した。
• GCNの深さを2層から4層に増加させたことで、MS-COCOでmAPが0.6%、Charadesで1.9%向上した。これは、横方向接続による正則化のおかげで、より深いGCNがKSSNetにおいて有益であることを示している。
• アブレーションスタディの結果、データスパarsityの影響により、Charadesでは知識グラフが統計的グラフよりも効果的であることが確認されたが、KSグラフは両方のデータセットで一貫して優れた性能を示した。
• ハイパーパramータ分析の結果、最適な性能はλ=0.6およびτ=0.03で得られ、CharadesでのmAPは44.93にピークに達した。これにより、重畝戦略のロバスト性が裏付けられた。