[論文レビュー] Exploiting Long-Term Dependencies for Generating Dynamic Scene Graphs

Shengyu Feng, Subarna Tripathi+3 more|arXiv (Cornell University)|Dec 18, 2021

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、オブジェクトレベルのトラックレットと2つの専用トランスフォーマーを用いて長期間の時間的依存関係を活用することで、オブジェクトの一貫性と関係性の動的変化をモデル化する、DSG-DETRと呼ばれる動的シーングラフ検出トランスフォーマーを提案する。本手法は、アスリート・ジェノム（Action Genome）において、先行手法を著しく上回り、真値のオブジェクトトラックを用いて推定された上限性能に近づく、最先端の性能を達成している。

ABSTRACT

Dynamic scene graph generation from a video is challenging due to the temporal dynamics of the scene and the inherent temporal fluctuations of predictions. We hypothesize that capturing long-term temporal dependencies is the key to effective generation of dynamic scene graphs. We propose to learn the long-term dependencies in a video by capturing the object-level consistency and inter-object relationship dynamics over object-level long-term tracklets using transformers. Experimental results demonstrate that our Dynamic Scene Graph Detection Transformer (DSG-DETR) outperforms state-of-the-art methods by a significant margin on the benchmark dataset Action Genome. Our ablation studies validate the effectiveness of each component of the proposed approach. The source code is available at https://github.com/Shengyu-Feng/DSG-DETR.

研究の動機と目的

• 長期間の時間的依存関係を捉えることで、動的シーングラフ生成の性能が向上するかどうかを調査すること。
• 真値のオブジェクトトラックを用いた上限性能を用いて、長期間の一貫性の活用による性能向上を定量化すること。
• 真値のトラックにアクセスできない状況でも、予測されたオブジェクトトラックレットを活用することで、近似的に最適な性能を達成する手法を開発すること。
• 長期間のシーケンスにわたり、オブジェクトの一貫性と関係性の遷移ダイナミクスをモデル化することで、シーングラフ予測の正確性が向上することを示すこと。

提案手法

• フレーム間の予測検出結果に対してハンガリアンマッチングを用いてオンラインでオブジェクトレベルのトラックレットを構築し、時間的整合性を確保する。
• 正弦波位置エンコーディングを用いたトランスフォーマー畳み込み層を用いて、トラックレット間のオブジェクト表現における長期間の依存関係をモデル化する。
• 時間的変化をモデル化するための別個のトランスフォーマー畳み込み層を用い、STTranの時間的デコーダーを時間的エンコーダーに置き換える。
• オブジェクト用トランスフォーマーに時間的位置埋め込みを統合することで、順序的なオブジェクトIDのモデル化を強化する。
• オブジェクトと関係性の両方のトランスフォーマーを統合し、長距離の時間的文脈を用いて同時に予測を精緻化する。
• アスリート・ジェノムデータセット上で、検出とシーングラフ生成の両方の損失を統合して、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトおよび関係性のシーケンスにおける長期間の時間的依存関係をモデル化することで、動的シーングラフ生成の性能が著しく向上するか？
• RQ2 真値のオブジェクトトラックを用いた上限性能を測定することで、長期間の一貫性を活用した場合の性能向上はどの程度達成可能か？
• RQ3 予測されたトラックレットに基づいて学習したモデルが、この上限性能に近い性能を達成できるか？
• RQ4 長期間のシーケンスにわたり、オブジェクトの一貫性と関係性のダイナミクスを捉えることで、短期的モデル化よりも一般化性能が向上するか？

主な発見

• DSG-DETRは、アスリート・ジェノムベンチマークにおいて最先端の性能を達成し、SGClsおよびSGDetの両評価設定で、既存の手法を著しく上回っている。
• 真値のオブジェクトトラックを用いた仮想の最良ケースでは、現在の手法よりも顕著な性能向上が得られ、長期間の依存関係の重要性を裏付けている。
• DSG-DETRはこの上限性能に近づき、長期間の依存関係が動的シーングラフ生成の向上に鍵を握っていることを示している。
• アブレーションスタディの結果、位置エンコーディングを備えたオブジェクトトランスフォーマーは制約下でR@Kを0.2ポイント向上させ、長期間のモデリングを用いた関係性トランスフォーマーはSTTranを0.3ポイント上回る性能を示した。
• 長期間の時間的文脈はベースラインから3〜6ポイントのSGG性能向上をもたらすが、短期的文脈では3〜4ポイントの向上にとどまるため、長距離モデリングの重要性が明確に示された。
• 定性的な結果では、DSG-DETRは誤分類されたオブジェクト（例：'dish'が'food'として誤認される）を正しく回復させ、遮蔽や動きに対しても一貫した予測を維持しているのに対し、STTran や Faster R-CNN はそのような一貫性に欠けている。