[論文レビュー] Context and Attribute Grounded Dense Captioning

Guojun Yin, Lu Sheng+4 more|arXiv (Cornell University)|Apr 2, 2019

Multimodal Machine Learning Applications参考文献 38被引用数 6

ひとこと要約

本稿では、非局所類似性グラフを用いて局所的・隣接的・グローバルなスケールの文脈的ヒントを統合することで特徴の相互作用を実現する、エンドツーエンドのフレームワークであるコンテキストおよび属性に基づくドレインスキャプション（CAG-Net）を提案する。さらに、粗くから細かくまでの言語的属性の監視を用いることで、キャプションの品質を向上させ、Visual Genomeデータセット上で9.144%のmAP（RPN）および33.412%のmAP（GT）を達成し、最先端の性能を実現した。

ABSTRACT

Dense captioning aims at simultaneously localizing semantic regions and describing these regions-of-interest (ROIs) with short phrases or sentences in natural language. Previous studies have shown remarkable progresses, but they are often vulnerable to the aperture problem that a caption generated by the features inside one ROI lacks contextual coherence with its surrounding context in the input image. In this work, we investigate contextual reasoning based on multi-scale message propagations from the neighboring contents to the target ROIs. To this end, we design a novel end-to-end context and attribute grounded dense captioning framework consisting of 1) a contextual visual mining module and 2) a multi-level attribute grounded description generation module. Knowing that captions often co-occur with the linguistic attributes (such as who, what and where), we also incorporate an auxiliary supervision from hierarchical linguistic attributes to augment the distinctiveness of the learned captions. Extensive experiments and ablation studies on Visual Genome dataset demonstrate the superiority of the proposed model in comparison to state-of-the-art methods.

研究の動機と目的

• ドレインスキャプションにおけるアパーチャー問題に対処すること。すなわち、領域の記述が周囲の画像コンテンツと文脈的に整合しないこと。
• 適応的メッセージパッシングを通じて、局所的・隣接的・グローバルなマルチスケールの視覚的文脈を統合することで、キャプションの正確性を向上させること。
• 粗くから細かくまでの階層的言語的属性監視を用いて、生成されたキャプションの判別能を高めること。
• 大規模なベンチマーク（Visual Genome）において、文脈的特徴抽出と属性のグランドイングの有効性を示すこと。

提案手法

• コンテキスト特徴抽出器は、非局所類似性グラフを用いて、ターゲット領域とそのk番目の近隣領域間の特徴の類縁性と空間的近接性をモデル化し、マルチスケールのメッセージパッシングを実現する。
• 学習されたアテンション重みを用いて、近隣領域およびグローバル領域からのコンテキスト特徴を統合し、ターゲット領域の表現を豊かにする。
• 属性に基づくキャプション生成器は、LSTMベースのデコーダーを用い、粗くから細かくまでの階層的言語的属性（例：誰が、何が、どこに）の補助的監視を受ける。
• 粗くから細かくまでの属性監視は、LSTMの異なる層で別々の損失関数を用いて適用され、予測されたキーワードと視覚的コンテンツとの整合性が向上する。
• フレームワークはエンドツーエンドで学習され、領域局所化（RPN）とキャプション生成の両方を同時に最適化する。教師強化として、正解キャプションと言語的属性を用いる。
• モデルは領域提案の生成にFaster R-CNNを用い、キャプションデコード中にコンテキスト信号と属性信号を統合する。

Figure 1: Dense captioning with different levels of contextual interactions: (i) without any contextual cues (marked by blue ) [ 20 ] , (ii) with guidance from the global cue (marked by red ) [ 34 ] , and (iii) with mutual interactions from neighboring (marked by orange ) and global visual informati

実験結果

リサーチクエスチョン

• RQ1 局所特徴に依存するのではなく、隣接的およびグローバルなマルチスケールの文脈的ヒントを統合することで、ドレインスキャプションの性能がどの程度向上するか？
• RQ2 ターゲット領域と近隣領域間の特徴相互作用に非局所類似性グラフを用いることで、性能にどのような影響を与えるか？
• RQ3 粗くから細かくまでの言語的属性監視は、生成キャプションの判別能と正確性を向上させることができるか？
• RQ4 近隣領域の数（k）がコンテキスト特徴抽出器の性能に与える影響は何か？
• RQ5 提案手法は、Visual Genomeベンチマークにおいて、局所化とキャプション生成の両面で最先端のアプローチを上回るか？

主な発見

• 非局所類似性グラフを用いたコンテキスト特徴抽出器は、完全結合層、マックスプーリング、アベレージプーリングを用いたベースラインを上回り、RPNで9.144%のmAP、GTで33.412%のmAPを達成した。
• k=20の近隣領域を用いることで最良の性能が得られ、k=10, 30, 50, 100の各設定を上回った。
• IoUに基づく「Nearest」設定は「Random」選択を上回り、空間的および意味的近接性が文脈統合を改善することを確認した。
• 粗くから細かくまでの言語的属性監視は、特徴の判別能を高め、曖昧性を低減することで、キャプション品質を顕著に向上させた。
• アブレーションスタディの結果、コンテキスト特徴抽出と属性グランドイングの両方が独立して貢献するとともに、相乗効果をもたらすことが確認された。
• 提案されたCAG-Netは、Visual Genomeデータセットで最先端の結果を達成し、領域局所化と記述生成の両面で優れた性能を示した。

Figure 2: The architecture of CAG-Net. The multi-scale features are generated by the proposed Contextual Feature Extractor after region proposals. Then the local (in blue) feature of the target region and multi-scale context cues, i.e . , global (in red) and neighboring (in orange), broadcast into t