[論文レビュー] Dual ResGCN for Balanced Scene GraphGeneration

Jingyi Zhang, Yong Zhang+4 more|arXiv (Cornell University)|Nov 9, 2020

Multimodal Machine Learning Applications参考文献 45被引用数 8

ひとこと要約

本稿では、物体レベルと関係レベルの文脈を2つの補完的な残差GCNを用いて同時にモデル化することで、クラス不均衡を明示的に扱う新しいグラフニューラルネットワーク、Dual ResGCNを提案する。物体特徴に対してクロスアテンションを組み込み、関係の共起事前知識を組み込むことで、頻度が低く意味論的に豊かな動詞の予測を著しく向上させつつ、頻度の高い関係の性能を維持し、Visual Genomeにおける最先端の平均リCALLを達成した。

ABSTRACT

Visual scene graph generation is a challenging task. Previous works have achieved great progress, but most of them do not explicitly consider the class imbalance issue in scene graph generation. Models learned without considering the class imbalance tend to predict the majority classes, which leads to a good performance on trivial frequent predicates, but poor performance on informative infrequent predicates. However, predicates of minority classes often carry more semantic and precise information~( extit{e.g.}, \emph{`on'} v.s \emph{`parked on'}). % which leads to a good score of recall, but a poor score of mean recall. To alleviate the influence of the class imbalance, we propose a novel model, dubbed extit{dual ResGCN}, which consists of an object residual graph convolutional network and a relation residual graph convolutional network. The two networks are complementary to each other. The former captures object-level context information, extit{i.e.,} the connections among objects. We propose a novel ResGCN that enhances object features in a cross attention manner. Besides, we stack multiple contextual coefficients to alleviate the imbalance issue and enrich the prediction diversity. The latter is carefully designed to explicitly capture relation-level context information extit{i.e.,} the connections among relations. We propose to incorporate the prior about the co-occurrence of relation pairs into the graph to further help alleviate the class imbalance issue. Extensive evaluations of three tasks are performed on the large-scale database VG to demonstrate the superiority of the proposed method.

研究の動機と目的

• シーングラフ生成におけるクラス不均衡問題に対処すること。特に、頻度の高い関係に偏るモデルが、情報量が多くて希少な関係を過小予測する問題を解決すること。
• 「 parked on 」 や 「 walking in 」 といった、微細なシーン理解に寄与する意味論的に豊かな希少な動詞の予測を向上させること。
• 頻度の高い関係の性能を維持しつつ、関係予測の耐障害性と多様性を向上させること。
• 追加のハイパーパrameterを必要とせず、構造的および関係的事前知識をグラフ畳み込みプロセスに統合すること。

提案手法

• Object ResGCNは、特徴のアグリゲーションをガイドする新しいクロスアテンション機構を用いて、物体レベルの文脈をモデル化する。
• Object ResGCNは、複数の文脈係数をスタックすることで特徴表現を豊かにし、クラス不均衡の緩和に寄与する。
• Relation ResGCNは、関係特徴をノードとして扱い、高次の識別的特徴をアグリゲートすることで、関係レベルの文脈をモデル化する。
• Relation ResGCNは、関係の共起パターンに関する事前知識をグラフ構造に明示的に組み込み、希少関係の予測を向上させる。
• 2本のブランチは補完的である：Object ResGCNは物体表現を強化し、Relation ResGCNは関係的文脈を用いて関係予測を精緻化する。
• OHEMを用いない標準的なクロスエントロピー損失を採用し、ハイパーパrameterに敏感にならず、コストセンシティブなベースラインを上回る性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 物体レベルと関係レベルの文脈を同時にモデル化することで、シーングラフ生成における希少関係の性能向上が達成できるか？
• RQ2 関係ペairの共起事前知識を組み込むことで、希少動詞の予測にどのような影響を与えるか？
• RQ3 クロスアテンションとスタックされた係数を備えた二重ブランチの残差GCNアーキテクチャが、単一ブランチまたは非残差モデルを上回る性能を発揮するか？
• RQ4 追加のトレーニングハイパーパrameterを必要とせずに、事前知識をグラフ構造に埋め込むことで、クラス不均衡の影響を軽減できるか？

主な発見

• 提案されたDual ResGCNは、Visual GenomeデータセットにおいてSOTA性能を達成し、SGGタスクでmR@100が21.5%に達した。これは、先行手法を著しく上回った。
• PredClsベンチマークでは、R@100が68.2%、mR@100が21.5%を達成し、優れた一般化性能とバランスの取れた性能を示した。
• 定性的な結果から、Dual ResGCNは「 parked on 」 や 「 walking in 」 といった微細で希少な関係を正しく予測できており、VC-TREEのようなSOTA手法が検出できない関係も捉えていることが確認された。
• Relation ResGCNブランチ単体でも、Object ResGCNを1.5ポイント上回るmR@100を達成しており、関係レベルの文脈モデリングの価値を裏付けた。
• OHEMベースのコストセンシティブ学習は、より悪い結果と高いハイパーパrameter感受性を示したが、Dual ResGCNはその効果を検証した。
• 複数の文脈係数をスタック（N=4）することで最良の性能が得られ、反復的な文脈の精緻化がクラス分布の影響を緩和するのに有効であることが示された。