[論文レビュー] SPAN: Learning Similarity between Scene Graphs and Images with Transformers

Yuren Cong, Wentong Liao+2 more|arXiv (Cornell University)|Apr 2, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、シーングラフと画像間の意味的類似性を測定するために、グラフと画像のトランスフォーマーを用いた対照学習フレームワーク、GICONを提案する。構造的エンコーディングを用いたシーングラフのシリアライゼーションにより、耐障害性の高いグラフに配慮した画像検索が可能となり、Visual GenomeおよびOpen Imagesデータセットにおいて、トリプレットベースの指標に劣らない、ノイズに強く耐性のある新しい評価指標R-Precisionを導入する。

ABSTRACT

Learning similarity between scene graphs and images aims to estimate a similarity score given a scene graph and an image. There is currently no research dedicated to this task, although it is critical for scene graph generation and downstream applications. Scene graph generation is conventionally evaluated by Recall$@K$ and mean Recall$@K$, which measure the ratio of predicted triplets that appear in the human-labeled triplet set. However, such triplet-oriented metrics fail to demonstrate the overall semantic difference between a scene graph and an image and are sensitive to annotation bias and noise. Using generated scene graphs in the downstream applications is therefore limited. To address this issue, for the first time, we propose a Scene graPh-imAge coNtrastive learning framework, SPAN, that can measure the similarity between scene graphs and images. Our novel framework consists of a graph Transformer and an image Transformer to align scene graphs and their corresponding images in the shared latent space. We introduce a novel graph serialization technique that transforms a scene graph into a sequence with structural encodings. Based on our framework, we propose R-Precision measuring image retrieval accuracy as a new evaluation metric for scene graph generation. We establish new benchmarks on the Visual Genome and Open Images datasets. Extensive experiments are conducted to verify the effectiveness of SPAN, which shows great potential as a scene graph encoder.

研究の動機と目的

• Recall@Kのようなトリプレット指向の指標が、シーングラフと画像間のグローバルな意味的整合性を捉えられていないという限界を是正すること。
• トランスフォーマーを用いて、共通の潜在空間にシーングラフと画像を統合的にアライメントする、一貫性のある対照学習フレームワークの開発。
• 生成されたシーングラフをクエリとして用いた画像検索の正確性に基づく、R-Precisionという新しい評価指標の導入。
• 提案された類似度ベースの評価を用いて、Visual GenomeおよびOpen Imagesにおいて新たなベンチマークを確立すること。
• 構造的情報を保持するグラフシリアル化技術の有効性を示すため、グラフトランスフォーマーエンコーダーに適した構造的表現を可能にする。

提案手法

• 構造的エンコーディングを用いたシリアライゼーション技術により、シーングラフが順序データに変換され、グラフトランスフォーマーがグラフ構造データを処理可能となる。
• 対照学習により、別々に訓練された2つのトランスフォーマー（グラフおよび画像）が、共通の潜在空間内でシーングラフと対応する画像をアライメントする。
• フレームワークは、正例ペア（画像-シーングラフ）間の類似度を最大化し、負例ペア間の類似度を最小化するための対照損失を用いる。
• R-Precisionは、候補セットから類似度が上位Kの画像を検索し、正解画像のうち正しく検出された割合を測定することで算出される。
• 位置情報なしおよび位置情報ありの両方のシーングラフをサポートし、境界ボックス情報がグラフ表現に統合される。
• アブレーションスタディにより、トランスフォーマーの深さとアーキテクチャが性能に与える影響が評価され、6層が最適であると判明した。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づく対照学習フレームワークは、シーングラフと画像間の意味的類似性を効果的に測定できるか？
• RQ2 提案されたグラフシリアル化技術は、構造的情報を十分に保持できており、効果的なグラフ表現学習を可能にしているか？
• RQ3 データバイアスやノイズの下でも、R-PrecisionはRecall@Kに比べて、シーングラフ生成品質の評価において優れているか？
• RQ4 生成されたシーングラフをクエリとして用いた場合、提案されたフレームワークは画像検索性能を向上させられるか？
• RQ5 性能と過学習のバランスを考慮した場合、グラフおよび画像トランスフォーマーの最適な深さは何か？

主な発見

• 位置情報ありのシーングラフを用いた場合、Open Images V6データセットでR-Precisionが78.9%に達した。
• Visual Genomeデータセットでは、位置情報ありのグラフとK=100を用いた場合、R-Precisionが76.1%に達し、優れた検索性能を示した。
• 最適なモデル設定は、グラフおよび画像トランスフォーマーの両方で6層を使用したものであり、より深いネットワーク（8層）では過学習のため性能が低下した。
• Open Imagesでは、正しく一致する画像をトップ1位として検索できた割合が78.9%に達し、シーングラフクエリを用いた場合、CLIPを上回った。
• 定性的な結果から、ラベルバイアスのためトリプレットレベルの指標が失敗する状況でも、モデルは意味的に類似した画像を正しく特定していることが示された。
• Visual GenomeおよびOpen Imagesの両データセットにおいて、正解のシーングラフと画像間の平均類似度は0.56であり、潜在空間内での一貫性あるアライメントが確認された。