[論文レビュー] Visual Commonsense Graphs: Reasoning about the Dynamic Context of a Still Image.

Jae Sung Park, Chandra Bhagavatula+3 more|arXiv (Cornell University)|Apr 22, 2020

Multimodal Machine Learning Applications参考文献 9被引用数 4

ひとこと要約

本論文では、60,000枚の画像を対象に、動画要約と人物の位置特定を伴う140万件の注釈付きテキスト的推論を含む大規模データセットを用いて、1枚の画像から過去の出来事、未来の出来事、現在の意図を予測するためのフレームワークであるVisualCometを紹介する。主な貢献は、統合的視覚・言語的常識的推論が非統合的手法を顕著に上回ることを示したことである。

ABSTRACT

Even from a single frame of a still image, people can reason about the dynamic story of the image before, after, and beyond the frame. For example, given an image of a man struggling to stay afloat in water, we can reason that the man fell into the water sometime in the past, the intent of that man at the moment is to stay alive, and he will need help in the near future or else he will get washed away. We propose VisualComet, the novel framework of visual commonsense reasoning tasks to predict events that might have happened before, events that might happen next, and the intents of the people at present. To support research toward visual commonsense reasoning, we introduce the first large-scale repository of Visual Commonsense Graphs that consists of over 1.4 million textual descriptions of visual commonsense inferences carefully annotated over a diverse set of 60,000 images, each paired with short video summaries of before and after. In addition, we provide person-grounding (i.e., co-reference links) between people appearing in the image and people mentioned in the textual commonsense descriptions, allowing for tighter integration between images and text. We establish strong baseline performances on this task and demonstrate that integration between visual and textual commonsense reasoning is the key and wins over non-integrative alternatives.

研究の動機と目的

• 静止画像の前後における動的なストーリーライン（出来事の前後・進行中）について、静的視覚認識をはるかに超えて推論することを可能にすること。
• 時間的および社会的文脈を備えた大規模かつ構造化されたデータセットが、視覚的常識的推論において不足している問題を解決すること。
• 視覚的および言語的常識的推論を統合することで、推論精度を向上させるフレームワークの開発。
• 画像のエンティティとテキスト的記述との間の人物の位置特定リンクを提供することで、マルチモーダルな整合性を強化すること。

提案手法

• 60,000枚の画像を対象に、140万件のテキスト的常識的推論を含む大規模データセットを構築し、それぞれの画像に前後イベントの短い動画要約を付加する。
• 各画像に対して、画像以前の出来事、画像以降の出来事、およびシーン内の人物の現在の意図の3種類の推論を注釈づける。
• 画像内の人物をテキスト的記述内の該当する記述にリンクする人物の位置特定注釈を導入し、マルチモーダルな参照解決を可能にする。
• 画像特徴とテキスト的常識的知識の両方を活用して動的なストーリーラインを予測する、統合的視覚・言語的推論モデルを設計する。
• VisualCometベンチマークを用いてモデルを訓練および評価し、統合的視覚・言語的推論と非統合ベースラインを比較する。
• 注意メカニズムとマルチモーダルトランスフォーマーを用いて、視覚的および言語的表現を統合し、推論パフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的および言語的手がかりに基づいて、静止画像の前後で発生した出来事を正確に予測できるか？
• RQ2 統合的視覚的および言語的常識的推論は、独立したモダリティの推論と比較してどれほど効果的か？
• RQ3 人物の位置特定が、視覚的常識的タスクにおける動的なストーリー予測の正確性をどの程度向上させるか？
• RQ4 前後イベントの動画要約を組み込むことで、常識的推論パフォーマンスにどのような影響を与えるか？
• RQ5 大規模かつ構造化された視覚的常識的推論データセットが、推論ベンチマークにおける顕著な向上をもたらすか？

主な発見

• 提案されたVisualCometフレームワークは、視覚的常識的推論において優れた性能を示しており、統合的視覚・言語的推論が非統合ベースラインを顕著に上回ることを実証した。
• 視覚的および言語的常識的推論の統合により、過去・未来・意図関連の推論予測において明確な向上が得られた。
• 人物の位置特定の導入により、画像のエンティティとテキスト的記述との間の整合性が向上し、推論の正確性が向上した。
• 60,000枚の画像を対象に140万件の推論を含む大規模データセットは、今後の視覚的常識的推論研究のための強固なベンチマークを提供した。
• 前後イベントの動画要約の導入により、静止画像における時間的ダイナミクスの理解が顕著に向上した。