[論文レビュー] From Images to Sentences through Scene Description Graphs using Commonsense Reasoning and Knowledge

Somak Aditya, Yezhou Yang+3 more|arXiv (Cornell University)|Nov 10, 2015

Multimodal Machine Learning Applications参考文献 43被引用数 48

ひとこと要約

本稿では、共通の知識に基づく推論と自動構築された知識ベースを用いて、シーン記述グラフ（SDGs）を構築することで、画像から自然言語の記述を生成する新しいフレームワークを提案する。視覚的検出と画像アノテーションおよびWordNetからの知識を統合することで、最先端の手法よりも関連性が高く、包括的なキャプションを生成する。Flickr8k、Flickr30k、MS-COCOの各データセットにおいて、画像文の整合性性能も競争力を持つ結果を達成した。

ABSTRACT

In this paper we propose the construction of linguistic descriptions of images. This is achieved through the extraction of scene description graphs (SDGs) from visual scenes using an automatically constructed knowledge base. SDGs are constructed using both vision and reasoning. Specifically, commonsense reasoning is applied on (a) detections obtained from existing perception methods on given images, (b) a "commonsense" knowledge base constructed using natural language processing of image annotations and (c) lexical ontological knowledge from resources such as WordNet. Amazon Mechanical Turk(AMT)-based evaluations on Flickr8k, Flickr30k and MS-COCO datasets show that in most cases, sentences auto-constructed from SDGs obtained by our method give a more relevant and thorough description of an image than a recent state-of-the-art image caption based approach. Our Image-Sentence Alignment Evaluation results are also comparable to that of the recent state-of-the art approaches.

研究の動機と目的

• エンドツーエンドの画像キャプションモデルが解釈可能性や推論能力に欠けているという限界を解消すること。
• 中間の意味的表現としてのシーン記述グラフ（SDGs）を導入することで、視覚と自然言語理解を橋渡しすること。
• 画像アノテーションと語彙的オントロジー（例：WordNet）からの共通の知識抽出を通じて、画像キャプションの質を向上させること。
• 視覚的認識と言語生成を分離することで、論理的推論と追跡可能な障害分析を可能にする。
• 構造的で知識拡張されたシーン表現を用いることで、画像文の整合性と意味理解を向上させること。

提案手法

• 画像キャプションとWordNetから知識ベースを構築し、物体、出来事、それらの相互作用に関する共通の知識をエンコードする。
• 深層学習に基づくビジョンシステムを用いて、確率的信頼度スコアを伴う高信頼度の物体およびシーン検出を抽出する。
• 検出された物体と抽象的な視覚的概念間の依存関係をモデル化するためのベイジアンネットワークを構築し、おそらくの出来事や役割を推論可能にする。
• 推論された意味的役割と共通の知識を用いて、エンティティ、出来事、それらの関係を表すシーン記述グラフ（SDGs）を生成する。
• WordNet類似度とジャカード係数に基づくグラフ類似度測定法を用いて、クエリSDGと画像SDGを比較し、画像検索を実行する。
• グラフ構造を用いて、グラフのノードとエッジを文法的構造と意味にマッピングすることで、自然言語文を生成する。

実験結果

リサーチクエスチョン

• RQ1 中間の意味的表現としてのシーン記述グラフ（SDG）は、画像キャプションの関連性と包括性を向上させることができるか？
• RQ2 テキストからの共通の知識は、視覚的シーン理解とキャプション生成にどの程度寄与するか？
• RQ3 SDGベースのアプローチは、エンドツーエンドのディープラーニングモデルと比較して、画像文の整合性とキャプション品質にどのように影響するか？
• RQ4 ブラックボックスモデルとは異なり、SDGsは論理的推論と障害分析をサポートできるか？
• RQ5 視覚的検出と知識ベースを統合することで、シーンにおける出来事とエンティティの検出精度が向上するか？

主な発見

• AMT評価では、SDGから生成された文が最近の最先端の画像キャプションモデルに比べ、有意に関連性が高く、包括的であると評価された。
• SDGベースの手法は、Flickr8kで18.1、Flickr30kで26.5、MS-COCO（1k）で19.3のrecall@1を達成し、ほとんどの場合でBRNNベースラインを上回った。
• Flickr8kでは中央順位（Med r）が10.5、Flickr30kでは6.0であり、優れた画像検索性能を示した。
• ゴールドスタンダード評価では、SDGsは最新の最先端システムと同等の精度で出来事とエンティティを検出できた。
• SDG表現により構造的推論が可能になり、解釈可能性が向上し、キャプション生成における追跡可能な障害分析が可能になった。
• グラフベースの類似度測定法は、画像と文の記述間の意味的整合性を効果的に捉え、統合的な画像・テキスト検索を支援した。