[論文レビュー] Referring Expression Object Segmentation with Caption-Aware Consistency

Yiwen Chen, Yi‐Hsuan Tsai+3 more|arXiv (Cornell University)|Oct 10, 2019

Multimodal Machine Learning Applications参考文献 27被引用数 8

ひとこと要約

本稿では、キャプションに配慮した一貫性を介して理解と生成を統合的に最適化する、参照表現オブジェクトセグメンテーションの新規エンドツーエンドフレームワークを提案する。言語知識を視覚的特徴に転送する空間に配慮した動的フィルタを導入し、入力と生成された参照表現の間の一貫性を強制することで、RefCOCOおよびRefCOCO+データセットで最先端の性能を達成した。

ABSTRACT

Referring expressions are natural language descriptions that identify a particular object within a scene and are widely used in our daily conversations. In this work, we focus on segmenting the object in an image specified by a referring expression. To this end, we propose an end-to-end trainable comprehension network that consists of the language and visual encoders to extract feature representations from both domains. We introduce the spatial-aware dynamic filters to transfer knowledge from text to image, and effectively capture the spatial information of the specified object. To better communicate between the language and visual modules, we employ a caption generation network that takes features shared across both domains as input, and improves both representations via a consistency that enforces the generated sentence to be similar to the given referring expression. We evaluate the proposed framework on two referring expression datasets and show that our method performs favorably against the state-of-the-art algorithms.

研究の動機と目的

• 理解と生成のタスクを統合的にモデリングすることで、参照表現オブジェクトセグメンテーションの性能を向上させること。
• 入力と生成された参照表現の間の一貫性損失を用いて、言語と視覚のクロスモodal特徴学習を強化すること。
• 空間的位置情報のガイダンスを用いて言語的知識を視覚的特徴に転送する空間に配慮した動的フィルタを設計すること。
• 局所化の精度と複雑なシーンに対するロバスト性を向上させたエンドツーエンド学習を実現すること。

提案手法

• モality固有の特徴を抽出するための分離された言語エンコーダーと視覚エンコーダーを備えた理解ネットワーク。
• テキスト特徴から生成された畳み込みフィルタを用いて関連する画像領域に注目する、空間に配慮した動的フィルタ。
• 共有特徴を入力として受け取り、入力と一貫性を持つ参照表現を生成するキャプション生成ネットワーク。
• 入力された参照表現と生成された文との差を最小化するキャプションに配慮した一貫性損失。
• 交差エントロピー損失と一貫性損失を用いたエンドツーエンド学習により、セグメンテーションと生成を同時に最適化する。
• 特徴マップに空間座標を統合することで、動的フィルタリングにおける局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 参照表現の理解と生成の共同最適化は、セグメンテーション性能の向上に寄与するか？
• RQ2 入力と生成された参照表現の間の一貫性を強制することで、特徴表現の質はどのように変化するか？
• RQ3 標準的または非空間的動的フィルタと比較して、空間に配慮した動的フィルタは、ターゲットオブジェクトの局所化をより良く行えるか？
• RQ4 空間に配慮したフィルタとキャプション一貫性の各コンポーネントが、全体の性能に果たす寄与度は何か？

主な発見

• 提案手法は、RefCOCOで58.90%および61.77%のマスク交差率（mIoU）を達成し、最先端の手法を上回った。
• RefCOCO+では53.81%のmIoUを達成し、データセット間での強力な一般化能力を示した。
• アブレーションスタディの結果、空間に配慮した動的フィルタとキャプションに配慮した一貫性の両方が、ベースラインモデルと比較して性能を顕著に向上させた。
• 両コンポーネントを統合した完全なモデルは、RefCOCOgで46.95%のmIoUを達成し、MAttNet や DMN を含む既存の手法を上回った。
• 定性的な結果から、色・位置・動作を含む複雑な記述に基づいたオブジェクトの正確なセグメンテーションが可能であることが示された。
• 背景の混同が一般的な「backにいる象」のような例でも、モデルは効果的にオブジェクトをセグメンテーションできた。