[論文レビュー] Scene Graphs: A Survey of Generations and Applications.

Xiaojun Chang, Pengzhen Ren+4 more|arXiv (Cornell University)|Mar 17, 2021

Multimodal Machine Learning Applications参考文献 201被引用数 11

ひとこと要約

本サーベイは、コンピュータビジョンにおけるシーングラフ生成（SGG）とその応用分野について包括的かつ体系的なレビューを提供しており、事前知識を用いる・使わないSGG手法、主要なデータセット、および視覚的質問応答や画像編集といった新たな応用をカバーしている。本研究は、構造的シーン理解分野における今後の研究の基盤的リファレンスを確立する。

ABSTRACT

Scene graph is a structured representation of a scene that can clearly express the objects, attributes, and relationships between objects in the scene. As computer vision technology continues to develop, people are no longer satisfied with simply detecting and recognizing objects in images; instead, people look forward to a higher level of understanding and reasoning about visual scenes. For example, given an image, we want to not only detect and recognize objects in the image, but also know the relationship between objects (visual relationship detection), and generate a text description (image captioning) based on the image content. Alternatively, we might want the machine to tell us what the little girl in the image is doing (Visual Question Answering (VQA)), or even remove the dog from the image and find similar images (image editing and retrieval), etc. These tasks require a higher level of understanding and reasoning for image vision tasks. The scene graph is just such a powerful tool for scene understanding. Therefore, scene graphs have attracted the attention of a large number of researchers, and related research is often cross-modal, complex, and rapidly developing. However, no relatively systematic survey of scene graphs exists at present. To this end, this survey conducts a comprehensive investigation of the current scene graph research. More specifically, we first summarized the general definition of the scene graph, then conducted a comprehensive and systematic discussion on the generation method of the scene graph (SGG) and the SGG with the aid of prior knowledge. We then investigated the main applications of scene graphs and summarized the most commonly used datasets. Finally, we provide some insights into the future development of scene graphs. We believe this will be a very helpful foundation for future research on scene graphs.

研究の動機と目的

• コンピュータビジョンにおけるシーングラフに関する包括的かつ体系的なサーベイが不足しているという問題に応えること。
• 事前知識を用いて強化された手法を含め、シーングラフ生成（SGG）手法の分析と分類を行うこと。
• 視覚的関係検出、画像キャプション生成、VQA、画像編集などのタスクにおけるシーングラフの多様な応用を調査すること。
• シーングラフ研究のための最も広く使われているベンチマークデータセットを要約すること。
• シーングラフ技術の発展に向けた今後の研究方向性についての知見を提供すること。

提案手法

• 本サーベイは、シーングラフ研究における体系的文献レビューを実施し、生成技術と応用に焦点を当てる。
• SGG手法を視覚的情報にのみ依存するものと、外部知識（例：事前学習モデルや知識ベース）を組み込むものに分類する。
• 視覚的関係、オブジェクトの属性、関係性推論がシーングラフ構築に果たす役割を分析する。
• 標準ベンチマークを用いて、さまざまなSGGフレームワークのパフォーマンスと設計選択を評価する。
• アノテーションスタイル、スケール、タスク互換性に基づいてデータセットを整理・比較する。
• 応用分野全体におけるトレンドと課題を統合し、マルチモーダルおよび推論中心のタスクに注目する。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンにおけるシーングラフの核心的構成要素と定義は何か？
• RQ2 事前知識を用いるか否かに応じて、シーングラフ生成手法はどのように異なるか？
• RQ3 VQA や画像編集といった高度なビジョンタスクにおけるシーングラフの主な応用は何か？
• RQ4 シーングラフモデルの学習・評価に最も広く使われているデータセットは何か？
• RQ5 シーングラフ研究における主な課題と今後の研究方向性は何か？

主な発見

• シーングラフは、オブジェクト、属性、それらの関係を明示的にモデル化することで、より高レベルの視覚的理解を可能にする。
• 外部知識を統合したSGG手法は、純粋にデータ駆動のアプローチに比べ、複雑またはレアな関係性において優れたパフォーマンスを示す。
• 視覚的質問応答や画像編集といった応用分野は、構造化されたシーングラフ表現から顕著な恩恵を受ける。
• 本サーベイでは、マルチモーダルおよび推論中心のシーングラフ応用への傾向が顕著であると特定した。
• VG や COCO-SceneGraph といった複数のベンチマークデータセットが広く使われているが、スケールやアノテーション品質においてばらつきがある。
• 標準化された評価プロトコルの欠如と、関係性推論の複雑さが、分野における主な課題のまま残っている。