[論文レビュー] A Pooling Approach to Modelling Spatial Relations for Image Retrieval and Annotation

Mateusz Malinowski, Mario Fritz|arXiv (Cornell University)|Nov 19, 2014

Multimodal Machine Learning Applications参考文献 32被引用数 25

ひとこと要約

本論文は、空間的テンプレートを用いて画像内の空間的関係をモデル化する学習可能なプーリングベースのフレームワークを提案する。このフレームワークにより、データから空間的表現を学習することで、画像検索とアノテーションの性能が向上する。空間的推論を深層学習アーキテクチャに統合することで、2つのデータセットで最先端の性能を達成し、それぞれ検索タスクとアノテーションタスクでR@10が1.4および2.0向上した。

ABSTRACT

Over the last two decades we have witnessed strong progress on modeling visual object classes, scenes and attributes that have significantly contributed to automated image understanding. On the other hand, surprisingly little progress has been made on incorporating a spatial representation and reasoning in the inference process. In this work, we propose a pooling interpretation of spatial relations and show how it improves image retrieval and annotations tasks involving spatial language. Due to the complexity of the spatial language, we argue for a learning-based approach that acquires a representation of spatial relations by learning parameters of the pooling operator. We show improvements on previous work on two datasets and two different tasks as well as provide additional insights on a new dataset with an explicit focus on spatial relations.

研究の動機と目的

• 現代の画像検索およびアノテーションシステムにおける空間的推論の欠如に対処すること。
• 指示的空間的関係を画像内でモデル化するデータ駆動型で学習可能なアプローチを開発すること。
• 空間的文脈を組み込むことで、言語と視覚的断片の整合性を高めること。
• 人間によるアノテーションと自動生成された空間的クエリの違いを分析すること。
• 深層学習ベースのビジョンシステムに解釈可能で効果的な空間的推論モジュールを提供すること。

提案手法

• 本手法は、参照対象オブジェクトを中心に配置された学習可能なプーリング演算子である空間的テンプレートを用いて空間的関係をモデル化する。
• 空間的関係を、視覚的特徴のプーリング操作として定式化し、テンプレートが空間的関係の許容領域を定義する。
• 空間的テンプレートは、境界ボックスと形式 (オブジェクト, 関係, オブジェクト) の空間的文を用いてデータから推定される。
• 既存の検索アーキテクチャに統合するため、プールド領域からの空間的特徴を埋め込み空間に拡張する。
• 2×2 + 4×4のプーリング方式を用いて空間的概念を表現し、空間的概念空間に4次元を割り当てる。
• 元のモデルと共同で学習することで収束性と性能が向上し、初期学習後に空間的特徴を追加する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なプーリングベースの空間的表現は、手作業で作成された空間的特徴を超えて、画像検索とアノテーションを改善できるか？
• RQ2 人間がアノテートしたデータから学習された空間的テンプレートと、自動生成クエリから得られたものとの違いは何か？
• RQ3 空間的推論を統合することで、テキスト断片と視覚的検出の間の整合性はどの程度向上するか？
• RQ4 提案された空間モデルは、異なる検索アーキテクチャおよびデータセットに一般化可能か？
• RQ5 空間的プーリングは、言語と視覚的オブジェクトの間の意味のある対応付けをより解釈可能に提供できるか？

主な発見

• 提案された空間モデルをDeep Fragment Embeddingsに追加したところ、画像検索タスクでR@10が1.4ポイント、画像アノテーションタスクで2.0ポイント向上した。
• 本モデルは、両方の検索およびアノテーションベンチマークで、他の最先端手法を常に上回った。
• 人間によるアノテートされた空間的クエリは、自動生成されたクエリとは異なる空間的概念の分布を示しており、合成データの限界を浮き彫りにした。
• 可視化結果から、空間モデルがテキスト断片と視覚的検出の間の対応付けの質を向上させ、より明確で解釈可能な一致を実現していることが示された。
• 空間的プーリングフレームワークにより、正しい空間的関係を示す色分けされたスコア可視化によって、解釈可能性が向上していることが実証された。
• 本手法は、2つの異なるデータセットおよび2つの異なるタスクにおいて性能を向上させるという点で、頑健で汎用的であることが示された。