[論文レビュー] Expressing Visual Relationships via Language

Hao Tan, Franck Dernoncourt+3 more|arXiv (Cornell University)|Jun 18, 2019

Multimodal Machine Learning Applications参考文献 44被引用数 4

ひとこと要約

本論文は、言語誘導型画像編集のための新規データセットを導入するとともに、2枚の画像間の視覚的関係を自然言語で記述するための関係的スピーカーモデルを提案する。このモデルは、静的および動的関係的アテンション機構を備えており、視覚的変換と関係のモデリングを向上させることで、3つのデータセットですべてのベースラインを上回り、2枚画像キャプションタスクで最先端の結果を達成した。

ABSTRACT

Describing images with text is a fundamental problem in vision-language research. Current studies in this domain mostly focus on single image captioning. However, in various real applications (e.g., image editing, difference interpretation, and retrieval), generating relational captions for two images, can also be very useful. This important problem has not been explored mostly due to lack of datasets and effective models. To push forward the research in this direction, we first introduce a new language-guided image editing dataset that contains a large number of real image pairs with corresponding editing instructions. We then propose a new relational speaker model based on an encoder-decoder architecture with static relational attention and sequential multi-head attention. We also extend the model with dynamic relational attention, which calculates visual alignment while decoding. Our models are evaluated on our newly collected and two public datasets consisting of image pairs annotated with relationship sentences. Experimental results, based on both automatic and human evaluation, demonstrate that our model outperforms all baselines and existing methods on all the datasets.

研究の動機と目的

• 2枚の画像間の視覚的関係を記述する自然言語キャプションを生成するという、未だ十分に検討されていないタスクに取り組むこと。
• 言語誘導型画像編集のための、人間がアノテートした編集指示を伴う、高品質で多様な実画像ペアのデータセットを構築すること。
• 単なる差異を越えて、複雑な視覚的関係を効果的に捉えることができるニューラル関係的スピーカーモデルを設計すること。
• 新規に収集したデータセットと2つの公開ベンチマークを含む複数のデータセットでモデルを評価し、汎化性と頑健性を示すこと。
• 関係的視覚キャプション分野の研究を促進するため、公開可能なデータセットとコードベースを提供すること。

提案手法

• 事前に計算された視覚特徴を用いて2枚の画像間の関係をモデル化するため、静的関係的アテンションを強化した新規なエンコーダデコーダアーキテクチャを提案する。
• キャプション生成プロセスにおける長距離依存関係と順序的推論を捉えるために、逐次的マルチヘッドアテンションを導入する。
• デコード中に視覚的アライメントと関係モデリングを同時に計算する動的関係的アテンションモジュールを開発し、数学的にすべての視覚的関係を注目するのと同等となる。
• BLEU、ROUGE、CIDErなどの自動評価指標を最適化するため、自己批判的シーケンストレーニングを用いた強化学習でモデルを訓練する。
• 事前学習後に、NLVR2 や Spot-the-Diff などの多様なデータセットで微調整することで、ゼロショット転移を可能にする。
• オブジェクト検出特徴を事前学習済みモデルから得た視覚入力として使用するが、特定のデータセットでは小さなまたは微細なオブジェクトを検出できないという制限を認識している。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、2枚の現実世界の画像間の複雑な視覚的関係を捉える自然言語記述を効果的に生成できるか？
• RQ2 動的関係的アテンションを組み込むことで、静的アテンションやベースラインモデルと比較して、視覚的変換と関係のモデリングがどの程度向上するか？
• RQ3 大規模な画像編集指示データセットで事前学習したモデルは、Spot-the-Diff や NLVR2 のような他の2枚画像キャプションベンチマークにどの程度一般化できるか？
• RQ4 本モデルが最も効果的に捉える視覚的関係の種類（例：オブジェクトレベルの変化、空間的シフト、色の調整）は何か？
• RQ5 自動評価と人間評価の両設定において、既存手法と比較して、モデルの性能はどの程度か？

主な発見

• 動的関係的アテンションを備えた提案された関係的スピーカーモデルは、新たに収集した Image Editing Request データセット、Spot-the-Diff、NLVR2 の3つの評価データセットで、すべてのベースラインを上回り、最先端の性能を達成した。
• Image Editing Request データセットでは、自動評価指標（例：CIDEr、BLEU）と人間評価の両方で、すべてのベースラインを顕著に上回り、人間がアノテートした指示と優れた一致を示した。
• Spot-the-Diff データセットでは、すべての手法の中で最高の CIDEr スコアを達成したが、誤検出されたエンティティや見逃された微細な変化のため、依然として誤りが生じていることが確認された。
• NLVR2 データセットでは、視覚的推論タスクの複雑さにもかかわらず、強力な性能を示し、多様な視覚的関係タイプへの一般化能力を示した。
• モデルの性能は、特に小さなまたは可視度の低いオブジェクトを検出できない場合に、画像コンテンツに敏感であることが判明し、オブジェクト検出器が失敗した場合の視覚特徴抽出の限界を示唆している。
• 動的関係的アテンション機構により、明示的な局所化がなくても、ピクセルレベルの差異を暗黙的に学習できることが示され、視覚的変換のモデリングにおける有効性を裏付けた。