[論文レビュー] An End-to-End Approach to Natural Language Object Retrieval via Context-Aware Deep Reinforcement Learning

Fan Wu, Zhongwen Xu+1 more|arXiv (Cornell University)|Mar 22, 2017

Multimodal Machine Learning Applications参考文献 36被引用数 11

ひとこと要約

本稿では、視覚的、言語的、文脈的ヒントに基づいて反復的にバウンディングボックスを調整することで、画像内の参照されたオブジェクトを動的に特定する、エンドツーエンドで文脈に配慮した深層強化学習フレームワークを提案する。この手法は、最先端の性能を達成し、ReferItGameデータセットにおいてSCRCとGroundeRをそれぞれ18.25%および7.67%上回った。

ABSTRACT

We propose an end-to-end approach to the natural language object retrieval task, which localizes an object within an image according to a natural language description, i.e., referring expression. Previous works divide this problem into two independent stages: first, compute region proposals from the image without the exploration of the language description; second, score the object proposals with regard to the referring expression and choose the top-ranked proposals. The object proposals are generated independently from the referring expression, which makes the proposal generation redundant and even irrelevant to the referred object. In this work, we train an agent with deep reinforcement learning, which learns to move and reshape a bounding box to localize the object according to the referring expression. We incorporate both the spatial and temporal context information into the training procedure. By simultaneously exploiting local visual information, the spatial and temporal context and the referring language a priori, the agent selects an appropriate action to take at each time. A special action is defined to indicate when the agent finds the referred object, and terminate the procedure. We evaluate our model on various datasets, and our algorithm significantly outperforms the compared algorithms. Notably, the accuracy improvement of our method over the recent method GroundeR and SCRC on the ReferItGame dataset are 7.67% and 18.25%, respectively.

研究の動機と目的

• 言語記述とは独立に領域候補を生成する二段階型オブジェクト検索手法の限界、すなわち冗長性と不整合性を是正する。
• 視覚的、言語的、文脈的情報を統合的に最適化することで、より正確で動的なオブジェクト局所化を実現するエンドツーエンドのフレームワークを開発する。
• 事前に定義されたオブジェクトカテゴリーや固定の候補数を排除し、学習された「トリガー」アクションによりエージェントが探索をいつ停止するかを決定できるようにする。
• 強化学習ポリシーに空間的および時間的文脈を統合することで、相対的位置や複雑な属性を含む参照表現の理解を向上させる。

提案手法

• エージェントは深層強化学習を用いて、自然言語で記述されたオブジェクトを局所化するため、バウンディングボックスの位置とサイズを反復的に調整する。
• エージェントの行動空間には、空間的移動（例：シフト、スケーリング）と、正しいオブジェクトが特定された際に終了するための特別な「トリガー」アクションが含まれる。
• 状態表現は、オブジェクト候補からの局所的視覚特徴、画像全体のConvNet特徴（空間的文脈）、およびLSTMで符号化された言語埋め込み（時間的文脈）を統合する。
• 文脈に配慮したポリシーネットワークは、各時刻における視覚的、言語的、文脈的情報の統合表現に基づいて行動を選択する。
• モデルは、予測されたバウンディングボックスと正解のバウンディングボックスのインターセクションオーバーユニオン（IoU）に基づく報酬信号を用いて、深層強化学習で訓練される。
• 訓練手順により、エージェントが画像と言語入力との間で動的で文脈豊かな相互作用から学習できる経験の系列が生成される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層強化学習エージェントは、視覚的および言語的信号を統合的に最適化することで、二段階型手法を上回る性能を達成できるか？
• RQ2 空間的および時間的文脈を統合することで、相対的位置や複雑な属性を含む参照表現の解釈能力がどのように向上するか？
• RQ3 固定の候補生成を排除することで、一般化性能が向上し、冗長性が低減するか？
• RQ4 画像全体の文脈とLSTMによる逐次的推論を組み込むことで、局所化精度がどの程度向上するか？
• RQ5 ゼロショットまたはフェイントショット設定において、訓練データの増加に伴いモデル性能がどのようにスケーリングするか？

主な発見

• 提案手法は、ReferItGameデータセットにおいてGroundeRを7.67%、SCRCを18.25%上回る精度を達成し、最先端の性能を示した。
• アブレーションスタディの結果、空間的および時間的文脈の両方が不可欠であることが確認され、いずれか一方を除去すると性能が著しく低下した。
• SCRCよりも多くの訓練データに依存することで、より強いスケーラビリティを示した。
• 関係性（例：「左にある串」）、複数のオブジェクト（例：「オレンジ」）、属性記述（例：「ジーンズをはいた男」）を含む複雑なクエリに対しても、良好な一般化性能を示した。
• トリガー行動による動的探索長さを伴うエンドツーエンドの訓練により、固定の候補数の必要性が排除され、冗長性が低減した。
• Top-1およびTop-50評価設定の両方において、RefCOCO、RefCOCO+、RefCOCOgの3つのベンチマークデータセットすべてで一貫した性能向上を達成した。