[論文レビュー] CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation

Jing Yu, Yuan Chai+3 more|arXiv (Cornell University)|Sep 16, 2020

Multimodal Machine Learning Applications参考文献 37被引用数 7

ひとこと要約

本稿では、偏りのあるモデル予測から階層的認知木を構築することで、粗い段階から細かい段階への関係の区別を可能にする、偏りのないシーングラフ生成のための新規認知由来損失関数であるCogTreeを提案する。関係性を意味的類似度に基づいて木構造に整理し、モデルに依存しない損失関数で訓練することで、長尾分布における関係性予測の性能が顕著に向上し、複数のSGGベンチマークで最先端の結果を達成する。

ABSTRACT

Scene graphs are semantic abstraction of images that encourage visual understanding and reasoning. However, the performance of Scene Graph Generation (SGG) is unsatisfactory when faced with biased data in real-world scenarios. Conventional debiasing research mainly studies from the view of balancing data distribution or learning unbiased models and representations, ignoring the correlations among the biased classes. In this work, we analyze this problem from a novel cognition perspective: automatically building a hierarchical cognitive structure from the biased predictions and navigating that hierarchy to locate the relationships, making the tail relationships receive more attention in a coarse-to-fine mode. To this end, we propose a novel debiasing Cognition Tree (CogTree) loss for unbiased SGG. We first build a cognitive structure CogTree to organize the relationships based on the prediction of a biased SGG model. The CogTree distinguishes remarkably different relationships at first and then focuses on a small portion of easily confused ones. Then, we propose a debiasing loss specially for this cognitive structure, which supports coarse-to-fine distinction for the correct relationships. The loss is model-agnostic and consistently boosting the performance of several state-of-the-art models. The code is available at: https://github.com/CYVincent/Scene-Graph-Transformer-CogTree.

研究の動機と目的

• シーングラフ生成における長尾分布問題に対処すること。これは、データバイアスのため、希少（テール）関係性が過小予測されがちなためである。
• 前頭前野皮質の認知処理を模倣することで、人間のような階層的推論を視覚的関係予測にモデル化すること。
• 粗い段階から細かい段階への関係性の区別を可能にするデバイアス化損失を設計すること。これにより、意味的に類似したが誤ったクラスとの干渉を低減する。
• 複数の最先端のSGGアーキテクチャに適用可能なモデルに依存しない損失関数を構築すること。

提案手法

• 偏ったSGGモデルの予測結果からCogTreeの階層構造を構築し、意味的コンセプト（例：'on' と 'near'）に基づいて関係性をグループ化し、粗い粒度から細かい粒度へと整理する。
• 木構造に基づく分類損失（ℒ_TCB）を定義し、高レベルの概念から始めて段階的に細分化された正しい予測を促進する。
• 一般の関係性学習を保持するためのフラット分類損失（ℒ_CB）を統合し、木構造損失は階層的区別に特化する。
• 関係性の区別が難しい（特にテールクラスにおいて）ものを動的に強調するために、損失関数内でアテンションベースの重み付けを用いる。
• CogTreeの構築に2つの原則を用いる：(1) 同じ意味的コンセプトに属する関係性はサブツリーを形成し、(2) サブツリーは粗い段階から細かい段階へと構造化される。
• ハイパーパrameter λ を最適化するため、ℒ_TCB と ℒ_CB の重み付き組み合わせにより訓練中にCogTree損失を適用する。

実験結果

リサーチクエスチョン

• RQ1 人間の粗い段階から細かい段階への推論を模倣することで、認知的階層を関係性に導入することで、長尾シーングラフ生成の性能が向上するか？
• RQ2 アーキテクチャの変更を要せず、階層的区別を支援できるモデルに依存しない損失関数は、どのように設計できるか？
• RQ3 関係性を木構造に整理することで、意味的に類似したが誤った関係性との干渉はどの程度低減されるか？
• RQ4 CogTree損失は、多様なSGGモデルとベンチマークにおいて一貫して性能を向上させるか？

主な発見

• CogTreeはVG-150Kデータセットで最先端の性能を達成し、述語分類においてmR@20/50/100スコアが22.89 / 28.38 / 30.97を記録し、従来のデバイアス化手法を上回った。
• アブレーションスタディの結果、木構造損失（ℒ_TCB）とフラット損失（ℒ_CB）の両方が寄与しており、特にℒ_TCBが性能向上に大きな影響を与えた。
• ノード確率の計算にMAXやSUMの代わりにAVERAGEを使用すると、予測の信頼性をよりよくバランスさせ、誤ったペナルティを低減できるため、最も優れた結果が得られた。
• 認知木の構築原則に反する場合——例えば、異なるコンセプトや段階の関係性を混在させると——顕著な性能低下が生じた。
• 最適なハイパーパrameter λ = 1 が全体的な性能を最も良くし、[0.7, 1.3] の範囲で劣化が最小限に抑えられた。
• 定性的分析の結果、CogTreeは細かい関係性の予測（例：'parked on' と 'standing on'）を顕著に改善し、視覚的に類似した関係性間の混乱を低減した。