[論文レビュー] Deep Variation-structured Reinforcement Learning for Visual Relationship and Attribute Detection

Xiaodan Liang, Lisa Lee+1 more|arXiv (Cornell University)|Mar 8, 2017

Multimodal Machine Learning Applications参考文献 25被引用数 52

ひとこと要約

VRL は、変化構造化アクショングラフを用いた深層強化学習フレームワークを導入し、視覚的関係と属性を逐次検出する。言語 priors とグローバルコンテキストを活用して、関係/属性タイプを数千規模へ拡張する。VRD と Visual Genome で最先端の結果を達成し、ゼロショットシナリオを含む。

ABSTRACT

Despite progress in visual perception tasks such as image classification and detection, computers still struggle to understand the interdependency of objects in the scene as a whole, e.g., relations between objects or their attributes. Existing methods often ignore global context cues capturing the interactions among different object instances, and can only recognize a handful of types by exhaustively training individual detectors for all possible relationships. To capture such global interdependency, we propose a deep Variation-structured Reinforcement Learning (VRL) framework to sequentially discover object relationships and attributes in the whole image. First, a directed semantic action graph is built using language priors to provide a rich and compact representation of semantic correlations between object categories, predicates, and attributes. Next, we use a variation-structured traversal over the action graph to construct a small, adaptive action set for each step based on the current state and historical actions. In particular, an ambiguity-aware object mining scheme is used to resolve semantic ambiguity among object categories that the object detector fails to distinguish. We then make sequential predictions using a deep RL framework, incorporating global context cues and semantic embeddings of previously extracted phrases in the state vector. Our experiments on the Visual Relationship Detection (VRD) dataset and the large-scale Visual Genome dataset validate the superiority of VRL, which can achieve significantly better detection results on datasets involving thousands of relationship and attribute types. We also demonstrate that VRL is able to predict unseen types embedded in our action graph by learning correlations on shared graph nodes.

研究の動機と目的

• 個々の検出器を超えて、オブジェクトの関係と属性を共同検出して、総合的なシーン理解を動機づける。
• 言語 priors に基づく世界的なオブジェクト間依存関係を、意味的な有向グラフとして捉える。
• 大規模なアクション空間で効率的な RL を実現するために、変化構造化トラバーサルを用いて小さく適応的なアクション集合を形成する。
• 曖昧さを伴うオブジェクトカテゴリを、曖昧性対応のマイニング手法で解決する。
• グローバルな画像文脈と履歴埋め込みを組み込み、RL における逐次推論を改善する。

提案手法

• ノードがオブジェクトカテゴリ、属性、述語を表し、意味的相関をエッジで結ぶ、有向意味的アクショングラフを構築する。
• 各ステップで小さなアクション集合を動的に形成する変化構造化トラバーサルを用い、実効アクション空間を数千から管理しやすいサブセットへ削減する。
• 各ステップでの三つのアクション決定プロセスを適用する：主語属性を選択、述語を選択、曖昧性対応のマイニングを用いて次のオブジェクトカテゴリを選択する。
• オブジェクトレベル特徴、全体画像特徴、Skip-thought モデルからの履歴フレーズ埋め込みを組み合わせた状態ベクトルをエンコードする。
• 共有リプレイメモリとターゲットネットワークを用い、エpsilon-greedy 学習戦略で、属性専用・述語専用・オブジェクトカテゴリ専用の三つの Deep Q-Network を訓練する。
• VRD と Visual Genome を対象に、リコールベースの指標とゼロショット評価を含む評価を行い、共有検出器と個別検出器を用いる最先端法と比較する。

実験結果

リサーチクエスチョン

• RQ1 複雑なシーンで、Deep VRL フレームワークは数千の潜在的な関係と属性を効果的に発見・局在できるか。
• RQ2 変化構造化アクショングラフは、大規模で組み合わせ的なアクション空間に対する学習効率と一般化を改善するか。
• RQ3 言語 priors とグローバル文脈手が、関係・属性検出性能にどのような影響を与えるか。
• RQ4 モデルはアクショングラフ枠組み内で未見の関係種・属性種へゼロショットで一般化できるか。

主な発見

Method	Phr. R@100	Phr. R@100	Rel. R@100	Rel. R@50
Visual Phrases [22]	0.07	-	-	-
Joint CNN+R-CNN [25]	0.09	0.07	0.09	0.07
Joint CNN+RPN [25]	2.18	2.13	1.17	1.15
Lu et al. V only [16]	2.61	2.24	1.85	1.58
Faster R-CNN [20]	3.31	3.24	-	-
Joint CNN+Trained RPN [20]	3.51	3.17	2.22	1.98
Faster R-CNN V only [20]	6.13	5.61	5.90	4.26
Lu et al. [16]	17.03	16.17	14.70	13.86
Our VRL	22.60	21.37	20.79	18.19
Lu et al. [16] (zero-shot)	3.76	3.36	3.28	3.13
Our VRL (zero-shot)	10.31	9.17	8.52	7.94

• VRL は VRD および Visual Genome において、強力なベースラインと比較して関係検出・属性検出で recall@100 および recall@50 が高く、ゼロショットシナリオを含む。
• 変化構造化トラバーサルは実効アクション空間を大幅に削減（例：述語アクションが平均約347 から約15 に削減）し、学習の安定性と速度を向上させる。
• 曖昧性対応のオブジェクトマイニングはシーン文脈を活用してカテゴリ選択を改善し、より具体的な予測（例：男性 vs スキーヤー、帽子 vs ヘルメット）を実現する。
• 履歴フレーズ埋め込みとグローバルな画像文脈は、履歴なし・単純な履歴表現のバリアントと比較して性能を著しく向上させる。
• VRL はアクショングラフに埋め込まれた見 unseen 種を予測することでゼロショット能力を強力に示し、共有グラフノードと学習済み相関を活用する。
• VRD において、VRL は関係フレーズ検出および関係検出の両方で最先端を大幅に上回る。