[論文レビュー] Stacked Hybrid-Attention and Group Collaborative Learning for Unbiased Scene Graph Generation

Xingning Dong, Tian Gan+4 more|arXiv (Cornell University)|Mar 18, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、画像・言語の統合が不十分で、関係予測にバイアスが生じるシーングラフ生成の問題を解決するため、新しいスタック型ハイブリッドアテンション（SHA）エンコーダーとグループ協調学習（GCL）デコーダーを提案する。視覚的・意味的相互作用を強化するため、自己アテンション（SA）とクロスアテンション（CA）ユニットを複数層にスタックし、長尾分布に起因する予測バイアスを軽減するため、訓練インスタンス頻度に基づいて予測語彙をバランスの取れたグループに分割するグループ増分型分類器を採用。並列最適化と知識蒸留を組み合わせることで、性能が著しく向上し、VGおよびGQAで新たなSOTAを達成。バイアスのない指標ではベースライン比で性能がほぼ2倍に向上した。

ABSTRACT

Scene Graph Generation, which generally follows a regular encoder-decoder pipeline, aims to first encode the visual contents within the given image and then parse them into a compact summary graph. Existing SGG approaches generally not only neglect the insufficient modality fusion between vision and language, but also fail to provide informative predicates due to the biased relationship predictions, leading SGG far from practical. Towards this end, in this paper, we first present a novel Stacked Hybrid-Attention network, which facilitates the intra-modal refinement as well as the inter-modal interaction, to serve as the encoder. We then devise an innovative Group Collaborative Learning strategy to optimize the decoder. Particularly, based upon the observation that the recognition capability of one classifier is limited towards an extremely unbalanced dataset, we first deploy a group of classifiers that are expert in distinguishing different subsets of classes, and then cooperatively optimize them from two aspects to promote the unbiased SGG. Experiments conducted on VG and GQA datasets demonstrate that, we not only establish a new state-of-the-art in the unbiased metric, but also nearly double the performance compared with two baselines.

研究の動機と目的

• 既存のシーングラフ生成（SGG）モデルにおける視覚と言語の間のモダリティ統合が限定的であるという問題に起因する、正確な関係予測の困難を解消すること。
• 予測語彙の長尾分布に起因する関係予測バイアスを克服すること。特に、頭部の予測語が優勢であり、テール部の予測語が不足している問題を是正すること。
• モデルに依存しないデバイアス化戦略を構築し、特に希少な予測語クラスにおいても一般化性能を向上させること。
• エンコーダーの表現力とデコーダーの意思決定能力の両方を強化することで、下流のビジョン・アンド・ランゲージタスクにより情報量が多くバランスの取れたシーングラフを提供すること。

提案手法

• 自己アテンション（SA）によるモダリティ内特徴の最適化と、クロスアテンション（CA）によるモダリティ間相互作用を統合したスタック型ハイブリッドアテンション（SHA）ネットワークを提案。複数層にわたってスタックすることで、特徴表現を強化する。
• 極めて不均衡な予測語集合を、訓練インスタンスの頻度に基づいて比較的バランスの取れたグループに分割するグループ協調学習（GCL）戦略を設計。
• 各分類器が部分的な予測語集合を学習するグループ増分型分類空間を実装。以前の分類空間を段階的に拡張する形で学習を進める。
• 各分類器の訓練データをバランスさせるために、メジアンリサンプリングを導入。これにより、希少な予測語の一般化性能が向上する。
• 共有勾配集約を用いて全分類器を同時に最適化する並列分類器最適化（PCO）を適用。訓練の安定化を図る弱い制約として機能する。
• 初期の分類器から後の分類器へと知識を転送する協調的知識蒸留（CKD）を提案。強い制約として機能し、識別性能を維持するとともに、頭部クラスの過学習を低減する。

Figure 1 : Two intentions to promote the unbiased SGG. (1) For the insufficient modality fusion, we aim to enhance both the intra-modal refinement and the inter-modal interaction (see the top-right corner of the figure). And (2) we split the extremely unbalanced dataset into a set of relatively bala

実験結果

リサーチクエスチョン

• RQ1 スタック型ハイブリッドアテンション機構は、シーングラフ生成における視覚的・言語的特徴間のモダリティ統合を効果的に改善できるか？
• RQ2 予測語を頻度ごにグループ化し、バランスの取れたサブセットで特化型分類器を学習させることで、長尾データに起因する予測バイアスを軽減できるか？
• RQ3 複数の分類器間で協調的最適化と知識蒸留を適用することで、頭部クラスとテールクラスの両方の性能を同時に向上させられるか？
• RQ4 提案手法のGCL戦略は、標準的およびデバイアス化ベースラインと比較して、バイアスのない評価指標でどの程度優れているか？

主な発見

• 提案されたSHA+GCLモデルは、VG150データセットにおいて新たなSOTAを達成。PredClsタスクでmR@50/100が41.6/44.0と、以前の手法を大きく上回った。
• アブレーションスタディの結果、GCLを除去すると性能が18.8/20.5 mR@50/100に低下し、これはベースライン比で性能がほぼ2倍に向上していたことから、GCLが性能向上に極めて寄与していることが示された。
• CKDを除去すると頭部クラスの性能に顕著な低下が見られた一方で、CKDを適用した場合、テールクラスの予測性能が維持された。これは、知識蒸留が知識転送において有効であることを示している。
• SHAにおけるCAまたはSAユニットを削除すると、性能に顕著な低下が生じた。これは、イントラモダリティおよびインタラモダリティアテンションの両方が正確な予測に不可欠であることを確認した。
• 最適な設定はμ=4およびトップダウン知識マッチング戦略であり、すべての指標で最良の全体的性能を達成した。

Figure 2 : The framework of the common pipeline in SGG, which includes five key components. Notably, we improve three key components marked in red in the figure. Specifically, we propose the Stacked Hybrid-Attention network to enhance the object encoder and the relation encoder, and we also devise t