[論文レビュー] Zoom-Net: Mining Deep Feature Interactions for Visual Relationship Recognition

Guojun Yin, Lu Sheng+5 more|arXiv (Cornell University)|Jul 13, 2018

Multimodal Machine Learning Applications参考文献 43被引用数 16

ひとこと要約

Zoom-Netは、空間的文脈と外観を統合するモジュール（SCA-M）を活用することで、物体特徴と述語特徴の間で双方向のメッセージ伝達を可能にする、視覚的関係認識のための新規特徴相互作用フレームワークを提案する。本手法は言語的事前知識や外部テキストデータに依存せずに、Visual Genomeデータセットで最先端の性能を達成し、フレーズ予測で最大6.46%、述語予測で最大3.62%のリコール向上を達成した（Rec@100, k=70）。

ABSTRACT

Recognizing visual relationships among any pair of localized objects is pivotal for image understanding. Previous studies have shown remarkable progress in exploiting linguistic priors or external textual information to improve the performance. In this work, we investigate an orthogonal perspective based on feature interactions. We show that by encouraging deep message propagation and interactions between local object features and global predicate features, one can achieve compelling performance in recognizing complex relationships without using any linguistic priors. To this end, we present two new pooling cells to encourage feature interactions: (i) Contrastive ROI Pooling Cell, which has a unique deROI pooling that inversely pools local object features to the corresponding area of global predicate features. (ii) Pyramid ROI Pooling Cell, which broadcasts global predicate features to reinforce local object features.The two cells constitute a Spatiality-Context-Appearance Module (SCA-M), which can be further stacked consecutively to form our final Zoom-Net.We further shed light on how one could resolve ambiguous and noisy object and predicate annotations by Intra-Hierarchical trees (IH-tree). Extensive experiments conducted on Visual Genome dataset demonstrate the effectiveness of our feature-oriented approach compared to state-of-the-art methods (Acc@1 11.42% from 8.16%) that depend on explicit modeling of linguistic interactions. We further show that SCA-M can be incorporated seamlessly into existing approaches to improve the performance by a large margin. The source code will be released on https://github.com/gjyin91/ZoomNet.

研究の動機と目的

• 言語的事前知識や外部テキストデータに依存せずに、画像内における複雑な視覚的関係を認識する課題に取り組む。
• 局所化された物体とグローバルな述語の間の特徴相互作用を強化することで、視覚的関係認識を向上させる。
• Visual Genomeデータセットのラベルの曖昧さや長尾分布の問題を、階層的ラベル付け戦略によって軽減する。
• 既存のモデルに統合可能な汎用的なモジュール（SCA-M）を設計し、性能向上を実現する。

提案手法

• 対照的ROIプーリングセルを導入し、局所的物体特徴を逆方向に空間的文脈に投影することで、物体と述語特徴の空間的アライメントを実現する。
• ピラミッドROIプーリングセルを提案し、グローバルな述語特徴を物体の空間領域全体にブロードキャストすることで、局所的物体特徴の強化を実現する。
• 両プーリングセルを組み合わせて、主語、述語、目的語間でマルチスケールかつ双方向の特徴相互作用を可能にする空間的文脈外観モジュール（SCA-M）を構築する。
• エンドツーエンドのネットワークに複数のSCA-Mブロックをスタックすることで、物体と述語表現間での深層メッセージ伝達を可能にする。
• クラス内ラベル相関をモデル化し、ノイズや不均衡なアノテーションの影響を軽減するためのインラインハイアラルツリー（IHツリー）を構築する。
• CAIなどの既存モデルにSCA-Mを統合することで、元のアーキテクチャを変更せずに性能向上を実証し、汎用性を示す。

実験結果

リサーチクエスチョン

• RQ1 言語的事前知識や外部テキストデータを一切使用せずに、物体と述語表現間の深層的特徴相互作用が視覚的関係認識を著しく向上させ得るか？
• RQ2 局所的物体とグローバルな述語の間で空間的に意識された特徴伝達を実現することで、関係予測の正確性はどのように向上するか？
• RQ3 学習可能なモジュール（SCA-M）は、Visual Genomeデータセットのさまざまな評価指標において、どの程度性能向上を達成できるか？
• RQ4 提案されたIHツリー戦略は、視覚的関係データセットにおける曖昧で不均衡なアノテーションの影響を効果的に軽減できるか？

主な発見

• Zoom-Netは、外部言語データを一切使用せず、Visual Genomeデータセットで最先端の性能を達成し、k=70の条件下で述語予測のRec@100が3.62%向上（85.64% → 90.59%）した。
• フレーズ予測タスクでは、知識蒸留を用いない既存の最先端手法と比較して、Rec@50が6.46%向上（24.82% vs. 18.36%）を達成した。
• CAIモデルに統合した場合（CAI + SCA-M）、述語のRec@50が2.39%向上し、関係性のRec@50が2.49%向上した。
• SCA-Mモジュールは非常に高い汎用性を示し、複数のベースラインで性能向上を実現し、一般化能力を裏付けた。
• すべての3要素（主語、述語、目的語）を同時に予測する状況でも強力な結果を達成し、真値の主語／目的語ラベルに依存する手法を上回った。
• インラインハイアラルツリー（IHツリー）は、ラベル間の相関関係を効果的にモデル化し、Visual Genomeデータセットにおける曖昧で長尾なアノテーションの影響を軽減した。