[論文レビュー] Learning from the Scene and Borrowing from the Rich: Tackling the Long Tail in Scene Graph Generation

Tao He, Lianli Gao+3 more|arXiv (Cornell University)|Jun 13, 2020

Multimodal Machine Learning Applications参考文献 27被引用数 4

ひとこと要約

本論文は、シーンオブジェクト相互作用、ヘッド関係からテイル関係への知識移行、および特徴補正を統合することで、シーングラフ生成における長尾分布に対処する新しいフレームワークを提案する。追加的アテンションを介した文脈的シーンの手がかりを活用し、頻度の高い関係から頻度の低い関係へ豊富な知識を移行させることで、Visual Genome において最先端の性能を達成し、テイル関係の検出を2–3パーセンテージポイント有意に向上させる。

ABSTRACT

Despite the huge progress in scene graph generation in recent years, its long-tail distribution in object relationships remains a challenging and pestering issue. Existing methods largely rely on either external knowledge or statistical bias information to alleviate this problem. In this paper, we tackle this issue from another two aspects: (1) scene-object interaction aiming at learning specific knowledge from a scene via an additive attention mechanism; and (2) long-tail knowledge transfer which tries to transfer the rich knowledge learned from the head into the tail. Extensive experiments on the benchmark dataset Visual Genome on three tasks demonstrate that our method outperforms current state-of-the-art competitors.

研究の動機と目的

• オブジェクト関係の長尾分布に起因する、まれな関係のトレーニングサンプル不足の問題に対処すること。
• 頻度の高い（ヘッド）関係からの知識と文脈的シーン情報を利用することで、低頻度（テイル）関係の認識を向上させること。
• オブジェクト表現学習にグローバルなシーンコンテキストを組み込むことで、モデルの汎化性能を向上させること。
• 構造的な知識移行と特徴補正を通じて、ヘッド関係とテイル関係の性能ギャップを低減すること。
• シーングラフにおける一般的な関係とまれな関係の両方を統合的に最適化するエンドツーエンドフレームワークの開発

提案手法

• アノテートされたオブジェクトからシーンコンテキストを学ぶために重み付きマルチラベル分類器を用いるシーンオブジェクト相互作用モジュールを導入し、それを加法的アテンションにより視覚的特徴と統合する。
• 頻度の高い（ヘッド）関係から頻度の低い（テイル）関係へ表現を移行させる知識移行モジュールを採用し、希少な述語の一般化性能を向上させる。
• 強化学習における到達可能性（reachability）の概念を模倣した特徴補正操作を適用し、ヘッドおよびテイル特徴の判別力を強化する。
• Faster R-CNN 特徴を入力とし、3つのモジュールをエンドツーエンドで統合し、共同最適化を実現する。
• 視覚的特徴と文脈的特徴を統合されたアーキテクチャで統合し、空間的・視覚的情報に加えて関係予測の性能を向上させる。
• シーンコンテキスト、関係予測、特徴補正を共同で最適化するマルチタスク学習設定を採用する。

実験結果

リサーチクエスチョン

• RQ1 グローバルなシーンコンテキストを効果的に活用することで、とりわけまれな関係の予測性能をどのように向上させられるか？
• RQ2 頻度の高い（ヘッド）関係からの知識を、低頻度（テイル）関係の性能向上にどの程度活用できるか？
• RQ3 到達可能性の概念に基づく特徴補正は、ヘッドおよびテイル関係特徴の判別能力を向上させるか？
• RQ4 シーンオブジェクト相互作用、知識移行、特徴補正の各モジュールが、全体の性能向上にどの程度寄与しているか？
• RQ5 提案手法は、制約付きおよび非制約付きの評価設定において、既存の最先端モデルを上回ることができるか？

主な発見

• 提案手法は、画像ベース、述語ベース、非制約付きシーングラフ生成という、Visual Genome の3つの標準評価タスクにおいて、すべてで最先端の性能を達成する。
• シーンオブジェクト相互作用モジュールは平均で2–3パーセンテージポイントの性能向上をもたらし、関係認識における文脈的シーン手がかりの価値を示している。
• 知識移行モジュールは、下位10個のテイル関係に対して平均2–3パーセンテージポイントの性能向上をもたらし、極めてまれな関係（例：'flying in' や 'on back of'）において顕著な向上を示している。
• 特徴補正モジュールは、ヘッドおよびテイルカテゴリの両方で判別力が向上するため、測定可能な0.5パーセンテージポイントの向上をもたらしている。
• アブレーションスタディの結果、3つのモジュールすべてが正の寄与を示しており、特にシーンオブジェクト相互作用モジュールが最も大きな影響を及ぼしていることが確認された。
• 定性的な結果では、全モデルが、従来のアプローチで見逃されていた関係（例：'keyboard under table' が 'under screen' と誤って予測されるのを防ぐ）を、シーンコンテキストを活用することで正しく検出している。