[論文レビュー] Top-down Visual Saliency Guided by Captions

Vasili Ramanishka, Abir Das+2 more|arXiv (Cornell University)|Dec 21, 2016

Multimodal Machine Learning Applications参考文献 31被引用数 6

ひとこと要約

本稿では、アーキテクチャの変更やピクセルレベルのアノテーションを必要とせず、事前学習済みの画像および動画キャプションモデルから空間的および時空間的サリエンシー・マップを抽出するCaption-Guided Visual Saliencyという手法を提案する。領域の置き換えによる情報量の増加分を推定することで、視覚的特徴がキャプション内の単語にどのように対応するかを明らかにし、最先端のモデルと同等のキャプション生成性能を達成するとともに、明示的なアテンション機構よりも正確なサリエンシー・ヒートマップを生成する。

ABSTRACT

Neural image/video captioning models can generate accurate descriptions, but their internal process of mapping regions to words is a black box and therefore difficult to explain. Top-down neural saliency methods can find important regions given a high-level semantic task such as object classification, but cannot use a natural language sentence as the top-down input for the task. In this paper, we propose Caption-Guided Visual Saliency to expose the region-to-word mapping in modern encoder-decoder networks and demonstrate that it is learned implicitly from caption training data, without any pixel-level annotations. Our approach can produce spatial or spatiotemporal heatmaps for both predicted captions, and for arbitrary query sentences. It recovers saliency without the overhead of introducing explicit attention layers, and can be used to analyze a variety of existing model architectures and improve their design. Evaluation on large-scale video and image datasets demonstrates that our approach achieves comparable captioning performance with existing methods while providing more accurate saliency heatmaps. Our code is available at visionlearninggroup.github.io/caption-guided-saliency/.

研究の動機と目的

• エンドツーエンドの画像および動画キャプションモデルに内蔵された暗黙的な領域-語マッピングを露にするため、それらがブラックボックスとして扱われるのを回避する。
• 固定されたオブジェクトラベルを超えて、自然言語文に従ったトップダウン型の視覚的検索を可能にする。
• 特定の単語の生成に寄与する画像または動画領域を可視化することで、キャプションモデルの解釈可能性を提供する。
• 明示的なアテンション層を追加せず、ピクセル単位の監督を必要とせずに正確なサリエンシー局所化を達成する。
• 弱い、画像または動画レベルのキャプションのみで学習されたモデルが、空間的および時間的になにかの意味的コンセプトを暗黙的に局所化できるかどうかを評価する。

提案手法

• 本手法は、情報量の増加分を測定することでサリエンシーを計算する：各空間的領域または時間的フレームを1つの代表的パッチに置き換え、単語生成確率の変化を観察する。
• キャプション内の各単語について、特定の領域またはフレームをマスクした際の、その単語を生成する対数尤度の差分としてサリエンシーを計算する。
• エンコーダデコーダ型のキャプションモデルに適用され、動画用にはLSTMベースのS2VTアーキテクチャをベースモデルとして用い、画像用には類似の構成を採用する。
• 予測キャプションおよび任意のクエリ文に対してサリエンシー・マップを生成し、多様な入力におけるモデル挙動の分析を可能にする。
• LSTMベースのモデルに適応した信号ドロップアウト技術を活用し、特徴の重要性の代理として情報量の増加分を用いる。
• 名詞句ごとに正規化を行い、赤が最高のサリエンシー、青が最低のサリエンシーを示す色分けされたヒートマップを生成する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの視覚的キャプションモデルは、明示的な監視やアテンション層がなくても、キャプション内の単語に対応する視覚的コンセプトを暗黙的に局所化できるか？
• RQ2 キャプションモデルから生成されたサリエンシー・マップが、文内の特定の単語の生成に寄与する視覚的領域をどれほど正確に局所化できるか？
• RQ3 明示的なソフトアテンション機構を備えたモデルと比較して、本手法で得られる暗黙的サリエンシーの性能は、キャプション品質および局所化精度の両面でどう異なるか？
• RQ4 提案手法は、画像および動画データの両方においてモデル挙動を説明可能であり、動作やオブジェクトの時間的局所化も可能か？
• RQ5 モデルのサリエンシー予測は、特に中央にないか曖昧なオブジェクトについて、人間がアノテートした真値と一致するか？

主な発見

• 提案手法のCaption-Guided Visual Saliencyは、最先端のモデルと同等のキャプション生成性能を達成し、MSVDではMETEORスコア31.0、MSR-VTTでは25.9、Flickr30kでは18.3を記録した。
• Flickr30kEntitiesデータセットでは、特に「動物」や「その他のもの」のような中心から離れていることが多いカテゴリで、ソフトアテンションベースラインを上回るアテンションの正確性を示した。
• 画像および動画のベンチマークにおいて、明示的なソフトアテンションモデルよりも正確なサリエンシー・ヒートマップを生成したことが、両方のベンチマークで高いアテンション正確性指標により裏付けられた。
• 動画解析において、モデルはキーワード「スケート」に対して雪の領域を的確に特定し、スケーターが主な注目対象でない場合でも、時間的にサリエンティーなフレームを特定できた。
• 名詞句に対しては、人間やその他の顕著なオブジェクトを一貫して局所化したが、視覚的類似性により誤って局所化することもあった（例：ゲートが窓と誤認される）。
• 色の認識に基づくアテンションにおいて、モデルは自転車乗りに対して「赤」のサリエンシーを割り当てた一方で、「白」のアテンションは他の場所に散らばっており、洗練されたが必ずしも直感的ではない語-領域の関連性を示した。