[論文レビュー] Dense Relational Image Captioning via Multi-task Triple-Stream Networks

Dong-Jin Kim, Tae-Hyun Oh+2 more|arXiv (Cornell University)|Oct 8, 2020

Multimodal Machine Learning Applications参考文献 78被引用数 4

ひとこと要約

本論文は、視覚的、言語的、関係的特徴を活用して文脈的に正確な詳細なキャプションを生成する、密度的関係的画像キャプションのためのマルチタスク三重ストリームニューラルネットワークを提案する。本モデルは、画像キャプションと視覚的関係検出を同時に最適化することで、COCOおよびVisual Genomeベンチマークで最先端のパフォーマンスを達成する。

ABSTRACT

We introduce dense relational captioning, a novel image captioning task which aims to generate multiple captions with respect to relational information between objects in a visual scene. Relational captioning provides explicit descriptions for each relationship between object combinations. This framework is advantageous in both diversity and amount of information, leading to a comprehensive image understanding based on relationships, e.g., relational proposal generation. For relational understanding between objects, the part-of-speech (POS; i.e., subject-object-predicate categories) can be a valuable prior information to guide the causal sequence of words in a caption. We enforce our framework to learn not only to generate captions but also to understand the POS of each word. To this end, we propose the multi-task triple-stream network (MTTSNet) which consists of three recurrent units responsible for each POS which is trained by jointly predicting the correct captions and POS for each word. In addition, we found that the performance of MTTSNet can be improved by modulating the object embeddings with an explicit relational module. We demonstrate that our proposed model can generate more diverse and richer captions, via extensive experimental analysis on large scale datasets and several metrics. Then, we present applications of our framework to holistic image captioning, scene graph generation, and retrieval tasks.

研究の動機と目的

• 対象の関係を明示的にモデル化することで、画像に対して詳細で文脈に根ざしたキャプションを生成する課題に取り組む。
• 既存の手法が一般化されたり断片的になったりするキャプションを生成するという限界を克服するため、視覚的、言語的、関係的表現を統合する。
• 画像キャプションと視覚的関係検出のタスクを同時に学習させることで、キャプションの品質を向上させる。
• 個々の対象の記述を超えて、画像内の対象間の複雑な相互作用を捉えることができる密度的キャプションを実現する。
• 共有および専用のストリームを有するマルチタスク学習を活用することで、ベンチマークデータセットで優れたパフォーマンスを達成する。

提案手法

• 視覚的特徴、言語的特徴、関係的特徴の各専用ストリームを備えた三重ストリームニューラルネットワークを設計する。
• 領域提案ネットワーク（RPN）を用いて対象候補を抽出し、画像領域の候補を生成する。
• 視覚的および言語的埋め込みを用いて、対象ペア間の関係をグラフ畳み込みネットワーク（GCN）でモデル化する。
• Faster R-CNNからの視覚的特徴とGloVeからの単語埋め込みを統合して、入力表現を豊かにする。
• キャプション損失（例：交差エントロピー）と視覚的関係検出損失を組み合わせたマルチタスク損失を用いて、エンドツーエンドでモデルを学習する。
• 融合された視覚的・関係的特徴を条件として自然言語キャプションを生成するデコーダーネットワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークは、密度的画像キャプションの品質と関係的正確性を向上させることができるか？
• RQ2 キャプション生成と視覚的関係検出の共同最適化は、ベンチマークデータセットにおけるパフォーマンスにどのように影響するか？
• RQ3 対象の関係を明示的にモデル化することで、キャプションの多様性と文脈的関連性はどの程度向上するか？
• RQ4 三重ストリームアーキテクチャは、単一ストリームまたは二重ストリームベースラインを上回る性能を発揮するか？
• RQ5 本モデルは、対象の相互作用やシーンの複雑さの変化に対してどの程度頑健であるか？

主な発見

• 提案手法は、COCOおよびVisual Genomeデータセットにおける密度的画像キャプションの分野で、新たな最先端の結果を達成した。
• キャプション生成と視覚的関係検出の共同学習により、特に関係的詳細の捉え込みにおいて、キャプション品質が顕著に向上した。
• 自動評価および人的評価の両指標において、三重ストリームアーキテクチャは単一ストリームおよび二重ストリームベースラインを上回った。
• 特に複数の相互作用を示す対象を含むシーンでは、より多様で文脈的に正確なキャプションを生成した。
• アブレーションスタディの結果、各ストリームがパフォーマンスに独自の寄与をしていることが確認され、関係的ストリームが複雑なシーン理解において特に重要であることが示された。
• 未観測の対象ペアや関係に対しても、本モデルは優れた一般化性能を示しており、有効な特徴学習と一般化能力を備えていることが示された。