[論文レビュー] Classification-Then-Grounding: Reformulating Video Scene Graphs as Temporal Bipartite Graphs

Kaifeng Gao, Long Chen+3 more|arXiv (Cornell University)|Dec 8, 2021

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、動画シーングラフ生成（VidSGG）のための新規な分類→定位フレームワークを提案する。提案手法は、プロポーザルベースの手法の制限を克服するため、動画シーングラフを時間的バイパーティティグラフに再定式化する。全被験者・被目的トラックレットの分類を定位の前に実行することで、高次関係を保持し、一貫性のないラベル付けを回避し、性能を向上させる。新しいモデルBIGを用いて、VidORおよびVidVRDで最先端の結果を達成した。

ABSTRACT

Today's VidSGG models are all proposal-based methods, i.e., they first generate numerous paired subject-object snippets as proposals, and then conduct predicate classification for each proposal. In this paper, we argue that this prevalent proposal-based framework has three inherent drawbacks: 1) The ground-truth predicate labels for proposals are partially correct. 2) They break the high-order relations among different predicate instances of a same subject-object pair. 3) VidSGG performance is upper-bounded by the quality of the proposals. To this end, we propose a new classification-then-grounding framework for VidSGG, which can avoid all the three overlooked drawbacks. Meanwhile, under this framework, we reformulate the video scene graphs as temporal bipartite graphs, where the entities and predicates are two types of nodes with time slots, and the edges denote different semantic roles between these nodes. This formulation takes full advantage of our new framework. Accordingly, we further propose a novel BIpartite Graph based SGG model: BIG. It consists of a classification stage and a grounding stage, where the former aims to classify the categories of all the nodes and the edges, and the latter tries to localize the temporal location of each relation instance. Extensive ablations on two VidSGG datasets have attested to the effectiveness of our framework and BIG. Code is available at https://github.com/Dawn-LX/VidSGG-BIG.

研究の動機と目的

• プロポーザルベースのVidSGG手法に内在する欠陥、すなわち一貫性のない正解ラベル付け、破断した高次関係、プロポーザル品質のボトルネックを解消する。
• 時間に敏感なノードタイプと意味的役割エッジを用いて、エンティティと述語をモデル化する時間的バイパーティティグラフとして動画シーングラフを再定式化する。
• 分類段階と定位段階の2段階フレームワークを構築し、述語分類と時間的局所化の精度を向上させる。
• 同一の被験者・被目的ペアに複数の述語インスタンスが存在する場合に、マルチインスタンス定位を可能にし、複雑な動画内相互作用に対する耐性を高める。
• 全トラックレットの文脈を活用し、関係構造を保持することで、VidORおよびVidVRDベンチマークで最先端の性能を達成する。

提案手法

• エンティティ（被験者／被目的）と述語の2種類のノードタイプを有する時間的バイパーティティグラフとしてVidSGGを再定式化し、各ノードにタイムスロットを関連付ける。
• バイパーティティグラフ内の有向エッジを用いて、エンティティと述語間の意味的役割をモデル化し、時間的および関係的構造を捉える。
• タスクを2段階に分解する：まず、グローバルなトラックレット表現を用いてすべてのノードおよびエッジのカテゴリを分類する。次に、各予測された関係インスタンスの時間的スパンを局所化する。
• スコアベースのフィルタリングと時間的NMSを用いたマルチインスタンス定位を採用し、1つの関係トリプルごとに複数のタイムスロットを予測することで、耐性を高める。
• 分類段階と定位段階を別々に訓練する2段階のトレーニングパイプラインを採用し、最適化されたハイパーパramータと損失重みを適用する。
• 1つの被験者・被目的ペアに複数の正解インスタンスを保持するラベル割り当てを実施し、98.43%のバインに1つのインスタンスしか含まれないことを確認し、このスキームの妥当性を検証した。

Figure 1 : (a) : The pipeline of proposal-based framework. Given a video, it first generates numerous proposals (with different time slots), and then conducts predicate classification for each proposal. (b) : The pipeline of classification-then-grounding framework. It first conducts predicate classi

実験結果

リサーチクエスチョン

• RQ1 分類→定位フレームワークは、一貫性のない部分的な正解ラベル付けを回避することで、プロポーザルベースのVidSGG手法を上回ることができるか？
• RQ2 同じ被験者・被目的ペアに複数の述語インスタンスが存在する場合、動画シーングラフを時間的バイパーティティグラフとしてモデル化することで、高次関係のモデリングがどのように向上するか？
• RQ3 VidSGGの性能はどの程度プロポーザルの品質に依存しており、プロポーザルフリーの分類段階がこの上限を緩和できるか？
• RQ4 マルチインスタンス定位は、同一の被験者・被目的ペア間で同時にまたは連続して発生する複数の関係を効果的に捉えられるか？
• RQ5 提案されたフレームワークは、VidORおよびVidVRDといった標準的なVidSGGベンチマークで最先端の性能を達成できるか？

主な発見

• 提案された分類→定位フレームワークは、VidORおよびVidVRDの両方で既存のプロポーザルベース手法を上回り、優れた一般化性能と耐性を示した。
• VidORでは、先行手法と比較して平均mAPが1.5%絶対値上昇し、新たな最先端性能を達成した。これは、新フレームワークの有効性を裏付けるものである。
• VidVRDでは、平均mAPが2.1%絶対値上昇し、異なるデータセットおよび設定において一貫した向上が確認された。
• アブレーションスタディの結果、フレームワークはラベルの不一致を顕著に低減し、プロポーザルベース手法で失われる高次関係的文脈を保持していることが確認された。
• マルチインスタンス定位機構は、32%の述語に対して複数の正解インスタンスを効果的に捉えており、ラベル割り当てスキームの有効性も高く、2つ以上のインスタンスが含まれるバインはわずか1.57%にとどまった。
• スコアフィルタリングと時間的NMSを含む推論パイプラインにより、予測の信頼性が向上し、誤検出が低減され、局所化精度が向上した。

Figure 2 : Left : A video example and its ground-truth visual relation triplets. Right : The corresponding temporal bipartite graph. Comparisons with existing formulation are left in appendix.