[論文レビュー] Fine-Grained Scene Graph Generation with Data Transfer

Ao Zhang, Yuan Yao+5 more|arXiv (Cornell University)|Mar 22, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、細分化されたシーングラフ生成のためのプラグアンドプレイ型データ転送フレームワークIETransを提案する。内部転送（一般述語を情報量の多い述語に再ラベル付け）と外部転送（NAサンプルからの欠落したアノテーションを再ラベル付け）を可能にすることで、長尾分布問題と意味的曖昧性の問題を軽減する。VG-50ベンチマークではマクロF1スコアを2倍に向上させ、新規に提案された1,807クラスのベンチマーク（VG-1800）でもSOTA結果を達成し、モデルの汎化性能と情報量の両面で顕著な向上を実現した。

ABSTRACT

Scene graph generation (SGG) is designed to extract (subject, predicate, object) triplets in images. Recent works have made a steady progress on SGG, and provide useful tools for high-level vision and language understanding. However, due to the data distribution problems including long-tail distribution and semantic ambiguity, the predictions of current SGG models tend to collapse to several frequent but uninformative predicates (e.g., on, at), which limits practical application of these models in downstream tasks. To deal with the problems above, we propose a novel Internal and External Data Transfer (IETrans) method, which can be applied in a plug-and-play fashion and expanded to large SGG with 1,807 predicate classes. Our IETrans tries to relieve the data distribution problem by automatically creating an enhanced dataset that provides more sufficient and coherent annotations for all predicates. By training on the enhanced dataset, a Neural Motif model doubles the macro performance while maintaining competitive micro performance. The code and data are publicly available at https://github.com/waxnkw/IETrans-SGG.pytorch.

研究の動機と目的

• シーングラフ生成における長尾分布問題に対処する。ここでは、大多数の述語クラスが非常に少ないトレーニングサンプルしか持たない。
• アノテーションにおける意味的曖昧性を解消する。アノテーターは一般的な述語（例：'on'）を情報量の多い述語（例：'riding'）よりも好む傾向があり、これによりモデルの崩壊が生じる。
• 特に希少で情報量の多い関係を対象とした、細分化された述語分類におけるモデルの汎化性能とマクロ性能を向上させる。
• 1,800種類以上の述語クラスを含む大規模なSGGに適用可能なスケーラブルでモデルに依存しないデータ拡張手法を開発する。
• 1つの述語あたり少なくとも5つのテストサンプルを保証する安定な評価を可能にする、信頼性の高い手動で整備されたベンチマーク（VG-1800）を構築する。

提案手法

• 内部転送は、誤差行列を用いて一般述語と情報量の多い述語のペアを同定し、インスタンスレベルで一般述語からのトリプルアノテーションをより情報量の多い述語に転送する。
• 外部転送は、モデルスコアリングによるランク付けを用いてNA（ネガティブまたはアノテーションなし）サンプルから見逃された正例関係を同定し、それらを情報量の多い述語に再ラベル付けする。
• 本手法はプラグアンドプレイ方式で動作し、Neural Motifなどのさまざまなベースラインモデルと互換性があり、アーキテクチャの変更を必要としない。
• ハイパーパrameter $k_I$ は内部転送対象の一般述語の割合を制御する。一方、$k_E$ は外部で再ラベル付けされる上位-$k_E$ 個のNAサンプルを制御する。
• 強化されたデータセットは、元のアノテーションに加えて転送および再ラベル付けされた関係を統合することで構築され、データ分布と整合性の両方が向上する。
• 本フレームワークは、標準的なVG-50ベンチマークおよび新たに提案された、より困難な1,807種類の述語クラスを有するVG-1800ベンチマークの両方で評価された。

実験結果

リサーチクエスチョン

• RQ1 一般述語から情報量の多い述語への内部データ転送は、意味的曖昧性に起因するモデルの崩壊を軽減できるか？
• RQ2 NAサンプルからの外部データ転送は、リソースが限られた尾部述語クラスにおける性能向上に寄与するか？
• RQ3 内部および外部転送を併用することで、マクロF1および正答率において個別モジュールの性能を上回る程度はどの程度か？
• RQ4 1,807種類の述語クラスを有する大規模なSGGに本手法をスケーリングした場合、性能の安定性は維持されるか？
• RQ5 IETransによって生成された強化データセットは、視覚的忠実性と意味的正確性を保ちつつ、モデルの汎化性能を向上させることができるか？

主な発見

• IETransは、VG-50ベンチマークにおいてNeural MotifモデルのmR@100性能を2倍に向上させ、モデルに依存しない手法の中でのSOTA性能を達成した。
• 1,807種類の述語クラスを有する新規のVG-1800ベンチマークでは、IETransが467のカテゴリで正しく予測を可能とし、すべてのベースラインを上回った。
• アブレーションスタディの結果、内部および外部転送を併用した場合が最も高いmAccを達成した。内部転送のみでも性能向上が顕著に見られたが、外部転送による強化によりさらなる向上が得られた。
• 内部転送における最適な$k_I$は80%であり、それ以上にすると曖昧または誤った関係の過剰転送により性能が低下する。
• 外部転送では、モデルの信頼度スコアの上位10%（最後の10%）のNAサンプルを再ラベル付けした際に急激な性能向上が見られた。これは、高品質な見逃された関係が信頼度分布の末尾に多く存在することを示唆している。
• 可視化結果から、IETransは画像の忠実性を保ちつつ、より情報量が多く意味的に正確な関係（例：'on'ではなく'sewn onto'）を生成することが確認された。