[論文レビュー] Learning Effective Visual Relationship Detector on 1 GPU

Yichao Lu, Cheng Chang+3 more|arXiv (Cornell University)|Dec 12, 2019

Advanced Neural Network Applications参考文献 13被引用数 4

ひとこと要約

この論文は、1枚のGPUで2日未塔の期間で完全な視覚的関係検出パイプラインをトレーニング可能にする、画期的な部分的重み転送手法を提示している。Open Images 2019 視覚的関係チャレンジにおいて最先端のパフォーマンスを達成した。クラスマッチド事前学習重みを用いてオブジェクト検出器を微調整し、学習可能な統合モデルによって空間的・意味的特徴と視覚的特徴を統合することで、プライベートリーダーボードで2位チームを5%以上上回る成績を達成した。

ABSTRACT

We present our winning solution to the Open Images 2019 Visual Relationship challenge. This is the largest challenge of its kind to date with nearly 9 million training images. Challenge task consists of detecting objects and identifying relationships between them in complex scenes. Our solution has three stages, first object detection model is fine-tuned for the challenge classes using a novel weight transfer approach. Then, spatio-semantic and visual relationship models are trained on candidate object pairs. Finally, features and model predictions are combined to generate the final relationship prediction. Throughout the challenge we focused on minimizing the hardware requirements of our architecture. Specifically, our weight transfer approach enables much faster optimization, allowing the entire architecture to be trained on a single GPU in under two days. In addition to efficient optimization, our approach also achieves superior accuracy winning first place out of over 200 teams, and outperforming the second place team by over $5\%$ on the held-out private leaderboard.

研究の動機と目的

• 大規模な視覚的関係検出モデルのトレーニングに必要なハードウェア要件を低減し、リソースが限られた研究者にも利用可能にする。
• Open Images V5のような大規模データセットにおける視覚的関係検出のトレーニング効率と収束速度を向上させる。
• 計算コストを最小限に抑えつつ、Open Images 2019 視覚的関係チャレンジで最先端のパフォーマンスを達成する。
• オブジェクト検出、空間的・意味的推論、視覚的特徴モデリングを統合した堅牢なパイプラインを構築し、正確な関係予測を実現する。

提案手法

• COOとOpen Imagesからの事前学習重みを用い、ソースとターゲットデータセット間のクラスをマッチングすることで、Faster R-CNNベースの検出器の分類および回帰ヘッドを初期化する部分的重み転送戦略を提案する。
• 新しい大規模な視覚的関係データセットに対して、最小限の更新のみでオブジェクト検出器を微調整し、ランダム初期化と比較して収束を著しく加速する。
• 候補オブジェクトペアに対して2つの別々のモデルをトレーニングする：空間的およびクラスベースの文脈を扱う勾配ブースティングモデル（空間的・意味的特徴）、およびオブジェクトペア周辺の画像パッチを処理するCNNベースのモデル（視覚的特徴）。
• 空間的・意味的特徴と視覚的特徴の予測を最適に統合するための重み付き統合により、単純な平均化よりも一般化性能が向上する第3段階のモデルを導入する。
• 'is'関係（オブジェクト-属性）を別個に処理し、クラス固有のヘッド初期化を用いてオブジェクト-属性ペアでトレーニングされた専用モデルを用いる。
• 3段階のパイプラインを採用する：(1) オブジェクト検出、(2) 候補ペアの特徴抽出、(3) 最終的な関係出力を得るための特徴および予測のエンドツーエンド統合。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンスを損なわずに、1枚のGPUで視覚的関係検出システムを効率的にトレーニングできるか？
• RQ2 部分的重み転送、特にクラスマッチド事前学習重みを用いた検出器ヘッドの初期化は、新しい大規模な視覚的関係データセットにおける収束加速にどの程度効果的か？
• RQ3 学習可能な統合メカニズムは、空間的・意味的特徴と視覚的特徴の予測を単純平均化する手法を上回る性能を発揮するか？
• RQ4 特定の属性（例：透明、プラスチック）が視覚的関係検出においてより大きな課題となる理由は何か？また、トレーニングデータの分布はモデルのパフォーマンスにどのように影響するか？
• RQ5 空間的、意味的、視覚的特徴を別々にモデリングするマルチステージパイプラインは、複雑な視覚的関係検出においてエンドツーエンドモデルを上回る性能を発揮するか、その程度はどの程度か？

主な発見

• 提案された部分的重み転送手法により、1枚のGPUでトレーニング時間を2日未塔に短縮でき、リソースが限られた研究者にとっても効率的なトレーニングが可能になった。
• モデルはOpen Images 2019 視覚的関係チャレンジで1位を達成し、プライベートリーダーボードで2位チームを5%以上上回った。
• 第3段階の統合モデルは、個々のモデルと比較して、全5つの関係でパフォーマンスが向上し、'at'関係ではmAP_relが5.1ポイント向上（相対的に11%向上）した。
• 空間的・意味的特徴モデルは't'と'hits'関係で優れた性能を示したが、視覚的特徴モデルは'plays'と'inside_of'関係で優れた性能を示し、両モダリティの必要性を裏付けた。
• 『透明』や『プラスチック』のような属性は、ラベルの曖昧さとトレーニングインスタンス数の少なさ（特に一般的な家具オブジェクトに対して）が原因で、モデルが最も苦戦した。
• 定性的な分析では、複雑なシーン（例：複数人のミュージシャン）においてもモデルの堅牢性が確認されたが、3Dから2Dへの投影の曖昧さや隠蔽による失敗が見られた。深さ情報やマルチビュー入力を導入することでさらなる改善が期待できる。