[論文レビュー] Referring Expression Comprehension: A Survey of Methods and Datasets

Yanyuan Qiao, Chaorui Deng+1 more|arXiv (Cornell University)|Jul 19, 2020

Multimodal Machine Learning Applications参考文献 70被引用数 5

ひとこと要約

本調査は、コンピュータビジョンと自然言語処理分野における参照表現理解（REC）の包括的な概要を提供しており、最先端の手法とデータセットをレビューしている。RECのアプローチをモダリティ符号化の観点から分類し、ジョイントエンベッディング、モジュラー構造、グラフベースのモデルに分け、ベンチマーク上でのパフォーマンスを評価しており、合成的推論が複雑で長時間の推論を要するクエリにおいて有望な結果を示す、今後の主な方向性であることが浮き彫りになっている。

ABSTRACT

Referring expression comprehension (REC) aims to localize a target object in an image described by a referring expression phrased in natural language. Different from the object detection task that queried object labels have been pre-defined, the REC problem only can observe the queries during the test. It thus more challenging than a conventional computer vision problem. This task has attracted a lot of attention from both computer vision and natural language processing community, and several lines of work have been proposed, from CNN-RNN model, modular network to complex graph-based model. In this survey, we first examine the state of the art by comparing modern approaches to the problem. We classify methods by their mechanism to encode the visual and textual modalities. In particular, we examine the common approach of joint embedding images and expressions to a common feature space. We also discuss modular architectures and graph-based models that interface with structured graph representation. In the second part of this survey, we review the datasets available for training and evaluating REC systems. We then group results according to the datasets, backbone models, settings so that they can be fairly compared. Finally, we discuss promising future directions for the field, in particular the compositional referring expression comprehension that requires longer reasoning chain to address.

研究の動機と目的

• ビジョン・ランゲージ理解における参照表現理解（REC）のための既存手法を体系的かつ分類的にレビュー・整理すること。
• CNN-RNN、モジュラー・ネットワーク、グラフベースのアーキテクチャを含むRECモデルの進化を分析すること。
• 標準化されたバックボーンと設定を用いて、主要なデータセット間でのRECパフォーマンスを評価・比較すること。
• 特に長時間の推論を要する合成的参照表現理解を含む、主な課題と今後の研究方向性を特定すること。
• 手法、データセット、ベンチマーク結果を比較フレームワークで整理することで、研究者にとって統一的な参照資料を提供すること。

提案手法

• 視覚的および言語的モダリティの符号化戦略に基づいてREC手法を分類し、共通の特徴空間へのジョイントエンベッディングを含む。
• 言語処理と視覚処理を専門的なコンponentに分解するモジュラー・ネットワークアーキテクチャをレビューし、解釈可能性の向上を図る。
• 言語および画像の特徴を構造的なグラフとして表現するグラフベースのモデルを検討し、複雑な関係性をモデル化する。
• 注目メカニズムとクロスアテンション層が、言語表現と画像領域の間のアライメントにどのように利用されているかを分析する。
• 標準化された評価プロトコルとバックボーンネットワーク（例：ResNet、Faster R-CNN）を用いて、データセット間でのパフォーマンスを比較する。
• アーキテクチャの選択が、ゼロショットおよびフェイシュット一般化性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 ジョイントエンベッディング、モジュラー、グラフベースのモデルといった異なるアーキテクチャは、参照表現理解においてどのように性能を発揮するか？
• RQ2 モダリティ間の相互作用と推論の観点から、最先端のRECモデルを特徴づける主な設計原則は何か？
• RQ3 既存のデータセットは複雑さにおいてどのように異なるのか。また、合成的推論の評価においてそれらにどのような制限があるか？
• RQ4 古典的なCNN-RNNベースラインに比べ、先進的なモデルはどの程度のパフォーマンス向上を達成しているか？
• RQ5 特に長時間の推論と合成的クエリを対象としたREC分野における、今後の研究で最も有望な方向性は何か？

主な発見

• グラフベースのモデルとモジュラー構造は、標準的なジョイントエンベッディングモデルに比べ、複雑で合成的な参照表現に対して優れたパフォーマンスを示している。
• ジョイントエンベッディング手法は、単純で短い表現に対しては依然として有効であるが、長時間で複数ステップにわたる推論を要するクエリでは困難を示す。
• RefCOCO+、RefCOCO、RefCLEFといったデータセットは、アノテーションの品質や言語的複雑さにおいて顕著な差異を示しており、モデルの一般化に影響を与える。
• 最先端のモデルは、標準評価プロトコル下でRefCOCO+で平均IoUが80％を超える成績を示しており、一部のスプリットではトップモデルが85％を超える。
• 合成的参照表現理解は依然として大きな課題であり、複数ステップにわたる推論を要するクエリではパフォーマンスが著しく低下する。
• 本調査では、エンドツーエンドのジョイントエンベッディングモデルの限界を克服するため、より構造的で推論に配慮したアーキテクチャへの明確なトレンドが浮き彫りになっている。