[論文レビュー] A Real-time Global Inference Network for One-stage Referring Expression Comprehension

Yiyi Zhou, Rongrong Ji+6 more|arXiv (Cornell University)|Dec 7, 2019

Multimodal Machine Learning Applications参考文献 37被引用数 8

ひとこと要約

本稿では、10倍の高速化を実現しながら最先端の精度を達成する1段階型リアルタイム参照表現理解ネットワーク、RealGINを提案する。本手法は、多段階手法に比べて推論速度を10倍に向上させた。また、多層の視覚的特徴の融合を実現するためのアダプティブ特徴選択（AFS）と、テキスト特徴を基準としてグローバルな文脈推論を用いて複雑な言語的条件をモデル化するグローバルアテンティブ再考的推論（GARAN）を導入する。

ABSTRACT

Referring Expression Comprehension (REC) is an emerging research spot in computer vision, which refers to detecting the target region in an image given an text description. Most existing REC methods follow a multi-stage pipeline, which are computationally expensive and greatly limit the application of REC. In this paper, we propose a one-stage model towards real-time REC, termed Real-time Global Inference Network (RealGIN). RealGIN addresses the diversity and complexity issues in REC with two innovative designs: the Adaptive Feature Selection (AFS) and the Global Attentive ReAsoNing unit (GARAN). AFS adaptively fuses features at different semantic levels to handle the varying content of expressions. GARAN uses the textual feature as a pivot to collect expression-related visual information from all regions, and thenselectively diffuse such information back to all regions, which provides sufficient context for modeling the complex linguistic conditions in expressions. On five benchmark datasets, i.e., RefCOCO, RefCOCO+, RefCOCOg, ReferIt and Flickr30k, the proposed RealGIN outperforms most prior works and achieves very competitive performances against the most advanced method, i.e., MAttNet. Most importantly, under the same hardware, RealGIN can boost the processing speed by about 10 times over the existing methods.

研究の動機と目的

• 既存の多段階型参照表現理解（REC）手法の計算効率の低さが、実世界への適用を制限している問題に対処すること。
• 領域クエリランク付けではなく、1段階のバウンディングボックス回帰問題として定式化することで、リアルタイムでエンドツーエンドのRECを実現すること。
• 新しいアーキテクチャ的要素を用いて、1段階RECにおける表現の多様性と言語的複雑性の課題を克服すること。
• MAttNetなどの最先端手法と同等の高精度を達成するとともに、推論速度を著しく向上させること。

提案手法

• YOLOv3などの事前学習済みオブジェクト検出器に言語エンコーダーを統合することで、直接バウンディングボックスを予測する1段階ベースラインを提案する。
• 表現の内容に応じて複数の畳み込み層からの視覚的特徴を動的に融合することで、特徴の識別能を向上させる、アダプティブ特徴選択（AFS）を導入する。
• テキスト特徴をピボットとして用い、全画像領域にわたるクエリに適合した視覚的文脈を収集・拡散する、グローバルアテンティブ再考的推論ユニット（GARAN）を設計する。
• 正解バウンディングボックスを用いて、GARANにおける微分可能アテンション機構を採用することで、アライメントおよび推論性能を向上させる。
• Flickr30kやReferItなどのデータセットにおける多様なオブジェクトサイズに対応するため、ZSGNetをバックボーンとするRealGINのマルチスケール変種を採用する。
• エンドツーエンドでモデルを訓練することで、高速で効率的かつ正確な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 1段階エンドツーエンドネットワークは、精度を損なわずに参照表現理解でリアルタイム性能を達成できるか？
• RQ2 多様な参照表現に対応するため、複数の意味的レベルからの視覚的特徴をどのように適応的に統合できるか？
• RQ3 1段階RECにおいて、複雑な言語的条件に対して効果的なグローバル推論を実現するメカニズムは何か？
• RQ4 1段階モデルは、追加の微調整なしに、未学習のオブジェクトカテゴリにどの程度一般化できるか？

主な発見

• RealGINはRefCOCO、RefCOCO+、RefCOCOgで競争力ある性能を達成し、MAttNetに匹敵する最先端の精度を実現しながらも、著しく高速である。
• RefCOCO、RefCOCO+、RefCOCOgにおいて、それぞれmAPスコア74.8、67.2、58.9を達成し、大多数の先行手法を上回っている。
• RealGINは26.3 FPSで画像を処理でき、既存の多段階手法（1.3–2.1 FPS）の約10倍速い。
• Flickr30kおよびReferItにおいて、マルチスケール変種を用いたRealGINは、ZSGNetを含む既存の手法を顕著に上回り、AFSおよびGARANの有効性を裏付けている。
• 定性的な分析から、RealGINは複数の属性や長い記述を含む複雑な表現を効果的に処理でき、トレーニング時に見つけていない「horse ass」のような新しい視覚的概念も学習していることが示された。
• 失敗事例は主にラベルノイズ、曖昧な表現、およびレアな視覚的概念（例：「sun shining」、「number 2」）に起因しており、トレーニングデータおよびバックボーンの事前学習範囲の制限が原因であると示唆されている。