[論文レビュー] Generalized Unbiased Scene Graph Generation

Xinyu Lyu, Lianli Gao+5 more|arXiv (Cornell University)|Aug 9, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、シーングラフ生成における述語レベルおよびコンセプトレベルのクラスアンバランスを解決する新しいフレームワーク、一般化されたアンバイアスドシーングラフ生成（G-USGG）を提案する。マルチコンセプト学習（MCL）とコンセプト正則化、バランスの取れたプロトタイプメモリを用いて、レア、アンコンモン、コモンな主語・目的語コンセプトの組み合わせにおける表現学習をバランスよく実現し、VG-SGGおよびOI-SGGで最先端の性能を達成した。

ABSTRACT

Existing Unbiased Scene Graph Generation (USGG) methods only focus on addressing the predicate-level imbalance that high-frequency classes dominate predictions of rare ones, while overlooking the concept-level imbalance. Actually, even if predicates themselves are balanced, there is still a significant concept-imbalance within them due to the long-tailed distribution of contexts (i.e., subject-object combinations). This concept-level imbalance poses a more pervasive and challenging issue compared to the predicate-level imbalance since subject-object pairs are inherently complex in combinations. Hence, we introduce a novel research problem: Generalized Unbiased Scene Graph Generation (G-USGG), which takes into account both predicate-level and concept-level imbalance. To the end, we propose the Multi-Concept Learning (MCL) framework, which ensures a balanced learning process across rare/ uncommon/ common concepts. MCL first quantifies the concept-level imbalance across predicates in terms of different amounts of concepts, representing as multiple concept-prototypes within the same class. It then effectively learns concept-prototypes by applying the Concept Regularization (CR) technique. Furthermore, to achieve balanced learning over different concepts, we introduce the Balanced Prototypical Memory (BPM), which guides SGG models to generate balanced representations for concept-prototypes. Extensive experiments demonstrate the remarkable efficacy of our model-agnostic strategy in enhancing the performance of benchmark models on both VG-SGG and OI-SGG datasets, leading to new state-of-the-art achievements in two key aspects: predicate-level unbiased relation recognition and concept-level compositional generability.

研究の動機と目的

• 長尾な主語・目的語ペアの分布に起因する、無視されがちなコンセプトレベルのアンバランスを、述語がバランスされているにもかかわらず解消すること。
• 述語レベルとコンセプトレベルの両方のデータアンバランスを同時に軽減する、新しい研究課題である一般化されたアンバイアスドシーングラフ生成（G-USGG）を形式化すること。
• レア、アンコンモン、コモンなコンセプトの組み合わせにおいて、公平性と一般化性能を向上させるモデルに依存しない戦略を開発すること。
• バランスの取れた表現学習を通じて、SGGモデルにおけるアンバイアスド関係認識と構成的生成性を向上させること。

提案手法

• 異なるコンセプト頻度に基づいて、同じ述語クラス内に複数のコンセプトプロトタイプをモデル化することで、コンセプトレベルのアンバランスを定量化する。
• 各述語カテゴリ内での明示的な特徴の分離と学習を可能にするために、コンセプト正則化（CR）を適用する。
• 異なる頻度レベルのコンセプトプロトタイプの表現学習を動的にバランスさせるために、バランスの取れたプロトタイプメモリ（BPM）を導入する。
• メモリ拡張機構を用いて、レア、アンコンモン、コモンなコンセプトに対して同等に頑健な特徴を生成するようにモデルを誘導する。
• バックボーンとなるSGGモデルに依存しないマルチコンセプト学習フレームワークを設計し、プラグアンドプレイ統合を可能にする。
• コンセプトプロトタイプ上でコントラスト損失を用いて、エンドツーエンドで特徴の識別性とバランスを促進する学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 長尾な主語・目的語の組み合わせに起因するコンセプトレベルのアンバランスは、アンバイアスドシーングラフ生成モデルの性能にどのように影響を与えるか？
• RQ2 統一されたフレームワークは、SGGにおける述語レベルとコンセプトレベルの両方のデータアンバランスを効果的に軽減できるか？
• RQ3 モデルに依存しない学習戦略は、レアとコモンなコンセプトの組み合わせにおける一般化性能をどの程度向上させられるか？
• RQ4 提案されたバランスの取れたプロトタイプメモリは、コンセプト頻度レベル間での表現の公平性をどのように向上させるか？
• RQ5 マルチコンセプト学習フレームワークは、SGGにおけるアンバイアスド関係認識と構成的生成性の両方を向上させるか？

主な発見

• 提案されたMCLフレームワークは、アンバイアスド関係認識の観点で、VG-SGGおよびOI-SGGベンチマークで最先端の性能を達成した。
• ゼロショットおよびフェイシュット設定において顕著な向上を示し、レアおよびアンコンモンなコンセプトにおける構成的生成性の向上を実証した。
• コンセプト正則化は、同じ述語クラス内での異なるコンセプトプロトタイプの分離と学習を効果的に実現し、表現品質を向上させた。
• バランスの取れたプロトタイプメモリは、レアなコンセプトにおけるパフォーマンス劣化を抑制するため、バランスの取れた特徴学習を強制することで、効果的に性能劣化を是正した。
• フレームワークはモデルに依存せず、アーキテクチャの変更なしに複数のベースラインSGGモデルの性能を向上させた。
• 広範なアブレーションスタディにより、コンセプトレベルのモデリングとバランスの取れたメモリコンponentsの有効性が、アンバランスに起因するバイアスの低減に寄与していることが確認された。