[論文レビュー] Finding It at Another Side: A Viewpoint-Adapted Matching Encoder for Change Captioning

Xiangxi Shi, Xu Yang+3 more|arXiv (Cornell University)|Sep 30, 2020

Multimodal Machine Learning Applications参考文献 31被引用数 6

ひとこと要約

本稿では、変化キャプションのための新しい視点に依存しない視覚的エンコーダー「ミラー視点適応マッチング（M-VAM）」と強化学習によるアテンション微調整（RAF）モジュールを提案する。M-VAMは、画像領域間の特徴類似度をモデル化することで、意味的変化と視点変化を明示的に区別する。一方、RAFは言語評価報酬を用いて顕著な変化に注目するアテンションを強化する。本手法は、Spot-the-DiffおよびCLEVR-Changeの両ベンチマークでSOTAモデルを上回り、視点変化に対して高い頑健性を示す。

ABSTRACT

Change Captioning is a task that aims to describe the difference between images with natural language. Most existing methods treat this problem as a difference judgment without the existence of distractors, such as viewpoint changes. However, in practice, viewpoint changes happen often and can overwhelm the semantic difference to be described. In this paper, we propose a novel visual encoder to explicitly distinguish viewpoint changes from semantic changes in the change captioning task. Moreover, we further simulate the attention preference of humans and propose a novel reinforcement learning process to fine-tune the attention directly with language evaluation rewards. Extensive experimental results show that our method outperforms the state-of-the-art approaches by a large margin in both Spot-the-Diff and CLEVR-Change datasets.

研究の動機と目的

• 視点変化が意味的差異を上回る変化キャプションの課題に対処すること。
• 特徴空間において視点変化と意味的変化を明示的に分離することができる視覚的エンコーダーの開発。
• 言語評価報酬を用いて、意味的変化に注目するアテンションの整合性を向上させること。
• 干渉的視点変化が存在する中で、より正確かつ頑健な変化キャプションを生成すること。

提案手法

• すべての領域ペア間でクロス画像特徴類似度を計算する「ミラー視点適応マッチング（M-VAM）」エンコーダーを提案し、変化あり／なしの確率マップを生成する。
• これらの確率マップを用いて、改善された変化表現を得るための変化あり／なしの視覚的特徴を合成する。
• アテンションマップを摂動させ、言語報酬で最適化することで意味的変化に注目するアテンションを精緻化する「強化学習によるアテンション微調整（RAF）」プロセスを導入する。
• 文単位の報酬を用いた強化学習を採用し、露出バイアスを低減するとともにキャプション品質を向上させる。
• 画像間で特徴をミラー画像として対称化する二重ブランチ特徴マッチング機構を活用し、視点不変性を強化する。
• キャプションヘッドと組み合わせてエンドツーエンドで学習し、BLEUおよびCIDErスコアを報酬としてポリシー勾配法を用いてアテンションを微調整する。

実験結果

リサーチクエスチョン

• RQ1 画像ペアにおける意味的変化と視点変化を明示的に区別できる視覚的エンコーダーを設計できるか？
• RQ2 アテンション機構をどのように精緻化すれば、視点に起因するアーチファクトではなく意味的変化に注目できるか？
• RQ3 言語評価報酬は、干渉的変化が存在する状況下でも、変化キャプションの品質と頑健性を向上させられるか？
• RQ4 提案手法は、実世界および合成の両方の変化キャプションベンチマークに一般化可能か？

主な発見

• 提案されたM-VAM+RAFモデルは、Spot-the-DiffおよびCLEVR-Changeの両データセットでSOTA性能を達成した。
• CLEVR-Changeでは、色やテクスチャの変化検出において、先行手法を顕著に上回った。
• 定性的な分析から、RAFは実際の変化領域に注目するアテンションの集中を高め、視点シフトに起因する誤検出を低減することがわかった。
• 本モデルは大規模な視点変化に対しても頑健であり、シーンが回転しても欠落または変更されたオブジェクトを正しく同定できた。
• Spot-the-Diffの実世界画像においては、人物や車の存在／不在、位置変化を正確に検出できた。
• RAF微調整プロセスにより、中央のエンティティおよびその意味的変化に注目するアテンションがシフトし、誤解を減少させた。