[論文レビュー] One-shot Scene Graph Generation

Yuyu Guo, Jingkuan Song+2 more|arXiv (Cornell University)|Feb 22, 2022

Multimodal Machine Learning Applications参考文献 42被引用数 5

ひとこと要約

本稿では、1つのラベル付き例から視覚的関係を予測する必要がある、新規のタスク「ワンショットシーングラフ生成」を紹介する。モデルが事前知識を活用できるように、インスタンス関係変換器と複数の構造的知識（関係的知識および一般常識知識）を提案し、構築されたワンショットデータセットで最先端の性能を達成した。これは、最小限の教師例で、従来の手法を著しく上回った。

ABSTRACT

As a structured representation of the image content, the visual scene graph (visual relationship) acts as a bridge between computer vision and natural language processing. Existing models on the scene graph generation task notoriously require tens or hundreds of labeled samples. By contrast, human beings can learn visual relationships from a few or even one example. Inspired by this, we design a task named One-Shot Scene Graph Generation, where each relationship triplet (e.g., "dog-has-head") comes from only one labeled example. The key insight is that rather than learning from scratch, one can utilize rich prior knowledge. In this paper, we propose Multiple Structured Knowledge (Relational Knowledge and Commonsense Knowledge) for the one-shot scene graph generation task. Specifically, the Relational Knowledge represents the prior knowledge of relationships between entities extracted from the visual content, e.g., the visual relationships "standing in", "sitting in", and "lying in" may exist between "dog" and "yard", while the Commonsense Knowledge encodes "sense-making" knowledge like "dog can guard yard". By organizing these two kinds of knowledge in a graph structure, Graph Convolution Networks (GCNs) are used to extract knowledge-embedded semantic features of the entities. Besides, instead of extracting isolated visual features from each entity generated by Faster R-CNN, we utilize an Instance Relation Transformer encoder to fully explore their context information. Based on a constructed one-shot dataset, the experimental results show that our method significantly outperforms existing state-of-the-art methods by a large margin. Ablation studies also verify the effectiveness of the Instance Relation Transformer encoder and the Multiple Structured Knowledge.

研究の動機と目的

• 既存のシーングラフ生成モデルが大規模なラベル付きデータを必要としているという制限に対処すること。
• 人間の少数ショット学習に似せて、1つのアノテート済み例から視覚的関係を学習できるモデルを実現すること。
• 具体的には、関係的知識と一般常識知識を含む事前知識をシーングラフ生成プロセスに統合すること。
• オブジェクト間の文脈的関係をより良く捉えるために、新規アーキテクチャ「インスタンス関係変換器」を設計すること。
• 少数ショット視覚的関係理解のベンチマークとして使用可能なワンショットシーングラフデータセットを構築・評価すること。

提案手法

• 本手法では、複数の構造的知識を導入する。視覚的グラフから得られる関係的知識は、オブジェクトペア間の妥当な視覚的関係（例：'～に立っている'、'～に座っている'）を捉える。
• コンセプトネットから得られる一般常識知識は、視覚的手がかりを超えた推論を可能にする一般世界の事実（例：'犬は庭を守る'）をエンコードする。
• これらの2種類の知識はグラフとして整理され、グラフ畳み込みネットワーク（GCNs）を用いて処理され、知識埋め込み付きエンティティ特徴が生成される。
• インスタンス関係変換器エンコーダーを用いて、すべてのオブジェクトペア間の関係に注目することで、個別のFaster R-CNN特徴を超えた相互オブジェクト文脈をモデル化する。
• モデルは、各関係に対して1つのラベル付き例しか持たない、新たに構築されたワンショットシーングラフデータセット上で、エンドツーエンドに訓練される。
• 性能評価は、事前に定義されたオブジェクトカテゴリを想定するPredCls設定で実施され、関係予測の正確性を測る指標としてRecall@Kが用いられる。

実験結果

リサーチクエスチョン

• RQ1 人間の少数ショット学習に似せて、1つのラベル付き例からのみ視覚的関係予測を一般化できるか？
• RQ2 関係的知識と一般常識知識の統合は、少数ショットシーングラフ生成の性能向上にどの程度有効か？
• RQ3 注目メカニズムを用いた関係性エンコーダー（インスタンス関係変換器）は、標準的な特徴抽出法に比べ、相互オブジェクト文脈をより効果的に捉えられるか？
• RQ4 事前知識の統合により、視覚的関係理解のための大規模なアノテート済みデータセットの必要性を軽減できるか？
• RQ5 空間的手がかりが誤解を招く、もしくは曖昧な場合、モデルの失敗モードはどのようなものか？

主な発見

• 提案手法は、ワンショットシーングラフ生成ベンチマークで、既存の最先端手法を著しく上回り、強力な少数ショット一般化性能を示した。
• アブレーションスタディの結果、インスタンス関係変換器および複数の構造的知識の両方が、性能向上に顕著な貢献をしていることが確認された。
• モデルは、1つの例のみを用いても、空間的関係（例：'シャツがショットの上'、'ラッカーが手の上'）および一般常識的関係（例：'犬には頭がある'、'犬には鼻がある'）を正しく予測できた。
• 失敗事例の主な原因は空間的曖昧さに起因しており、例えば、バウンディングボックスが重なっている、もしくは完全に包含されている場合に誤って'上'と予測してしまうなど、空間信号への過剰依存が原因である。
• PredCls設定でも高い性能を維持しており、特にオブジェクトカテゴリが固定されている状況では強化学習ベースの手法でさえも上回った。
• 本手法は、標準的なシーングラフ生成タスクに対しても一般化がうまくいき、標準ベンチマークで競争力のある結果を達成しており、少数ショット学習にとどまらず、より広範な応用可能性を示している。