[論文レビュー] 1st Place Solution for PSG competition with ECCV'22 SenseHuman Workshop

Qixun Wang, Xiaofeng Guo+1 more|arXiv (Cornell University)|Feb 6, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、トランスフォーマーに基づくグローバル関係モジュールを用いてグローバルコンテキストを統合することで関係予測を向上させる、2段階のパノプティック・シーングラフ生成フレームワークGRNetを提案する。また、自己蒸留された偽ラベルを用いたソフトラベル監督により、長尾分布と関係の曖昧さを緩和する。本手法はOpenPSGのリーダーボードで最先端の性能を達成し、従来の1段階および2段階手法を上回った。

ABSTRACT

Panoptic Scene Graph (PSG) generation aims to generate scene graph representations based on panoptic segmentation instead of rigid bounding boxes. Existing PSG methods utilize one-stage paradigm which simultaneously generates scene graphs and predicts semantic segmentation masks or two-stage paradigm that first adopt an off-the-shelf panoptic segmentor, then pairwise relationship prediction between these predicted objects. One-stage approach despite having a simplified training paradigm, its segmentation results are usually under-satisfactory, while two-stage approach lacks global context and leads to low performance on relation prediction. To bridge this gap, in this paper, we propose GRNet, a Global Relation Network in two-stage paradigm, where the pre-extracted local object features and their corresponding masks are fed into a transformer with class embeddings. To handle relation ambiguity and predicate classification bias caused by long-tailed distribution, we formulate relation prediction in the second stage as a multi-class classification task with soft label. We conduct comprehensive experiments on OpenPSG dataset and achieve the state-of-art performance on the leadboard. We also show the effectiveness of our soft label strategy for long-tailed classes in ablation studies. Our code has been released in https://github.com/wangqixun/mfpsg.

研究の動機と目的

• 2段階パラダイムと1段階パラダイムの性能差を解消するため、グローバルコンテキストを統合することで2段階手法の性能を向上させること。
• 新たなソフトラベル学習戦略を用いて、述語分類における関係の曖昧さと長尾分布バイアスを軽減すること。
• トランスフォーマーに基づくグローバル関係モジュールを用いて、すべてのペアワイズ関係を同時に最適化することで、シーングラフ生成性能を向上させること。
• 標準評価プロトコルに従い、OpenPSGベンチマークで最先端の結果を達成すること。

提案手法

• GRNetは2段階パラダイムを採用する。まず、マスク2フォーマーをオフザシェルのパノプティックセグメンテーションツールとして用い、オブジェクトマスクとRoI特徴を抽出する。
• オブジェクトレベルの特徴量とそれに対応するマスクを統合し、クラス埋め込みを含むトランスフォーマー encoder に供給することで、検出されたすべてのオブジェクト間のグローバル関係をモデル化する。
• 関係予測を、トレーニング中にモデル予測の指数移動平均（EMA）により生成されたソフトラベルを用いた多クラス分類タスクとして再定式化する。
• 自己蒸留されたソフトラベルを用いることで、長尾述語分布からのバイアスを低減し、欠損アノテーションに対処する。
• ファーカルロスを適用して、レアな述語カテゴリと頻度の高い述語カテゴリの間でトレーニング損失を再バランスする。
• セグメンテーションツールの事前学習を50エポックで実施後、全モデルをさらに12エポック分、エンドツーエンドで微調整する。

Figure 1: Panoptic Scene graph Generation . PSG presents a more comprehensive and clean scene graph representation, with more accurate localization of objects and including relationships with the background (known as stuff).

実験結果

リサーチクエスチョン

• RQ1 2段階パノプティック・シーングラフ生成手法は、1段階手法と同等の性能を達成するために、グローバルコンテキストを効果的に回復できるか？
• RQ2 自己蒸留された仮ラベルを用いたソフトラベル監督は、長尾述語分布の下で関係予測性能をどのように向上させるか？
• RQ3 ローカル特徴ベース手法と比較して、グローバル関係モジュールは遠く離れたオブジェクト間の関係処理においてどの程度性能を向上させるか？
• RQ4 ソフトラベルとファーカルロスの組み合わせは、頻度の高いクラスとレアなクラスの両方で一貫した性能向上をもたらすか？

主な発見

• Swin-BバックボーンとMask2Formerセグメンテーションツールを用いたGRNetは、OpenPSGテストセットで55.0%のmR@100を達成し、すべての先行1段階および2段階手法を上回った。
• 前回の最良2段階ベースライン（GPSNet）に対して9.1ポイント、最良1段階手法（PSGFormer）に対して14.9ポイントのmR@100向上を達成した。
• アブレーションスタディにより、ソフトラベル学習が、100件未満のトレーニングサンプルを持つ述語クラスにおいて顕著に性能向上をもたらすことが確認された。
• ファーカルロスの導入により、頻度の高いカテゴリとレアなカテゴリの間の性能ギャップがさらに縮小された。
• グローバル関係モジュールは、ローカル特徴ベースのベースラインと比較してmR@100で7.5%の絶対的向上を示し、関係推論におけるグローバルコンテキストの価値を裏付けた。
• Swin-Bバックボーンを用いた場合、40.8%のmR@100を達成し、深層アーキテクチャへのスケーラビリティの高さを示した。

Figure 2: The pipeline of our proposed GRNet . We follow two-stage paradigm where an off-theshelf panoptic segmentor is used to generate object mask and then pairwise relationship prediction between these predicted objects.