[論文レビュー] Don't Just Listen, Use Your Imagination: Leveraging Visual Common Sense for Non-Visual Tasks

Xiao Lin, Devi Parikh|arXiv (Cornell University)|Feb 21, 2015

Multimodal Machine Learning Applications参考文献 39被引用数 26

ひとこと要約

本稿では、画像から得られる意味的知識（視覚的常識）を、状況の想起を通じて活用することで、穴埋め（FITB）や視覚的パラフレージング（VP）といった視覚的でない自然言語処理（NLP）タスクの性能向上を図る。テキストから抽象的なイラスト風のシーンを生成し、テキストと想起された視覚的特徴を併用して推論することで、テキストのみのベースラインを上回る性能を達成。FITBでは95.55%、VPでは95.08%の正確度を記録し、視覚的アシストによりVPタスクでは人間の平均を上回る性能を達成した。

ABSTRACT

Artificial agents today can answer factual questions. But they fall short on questions that require common sense reasoning. Perhaps this is because most existing common sense databases rely on text to learn and represent knowledge. But much of common sense knowledge is unwritten - partly because it tends not to be interesting enough to talk about, and partly because some common sense is unnatural to articulate in text. While unwritten, it is not unseen. In this paper we leverage semantic common sense knowledge learned from images - i.e. visual common sense - in two textual tasks: fill-in-the-blank and visual paraphrasing. We propose to "imagine" the scene behind the text, and leverage visual cues from the "imagined" scenes in addition to textual cues while answering these questions. We imagine the scenes as a visual abstraction. Our approach outperforms a strong text-only baseline on these tasks. Our proposed tasks can serve as benchmarks to quantitatively evaluate progress in solving tasks that go "beyond recognition". Our code and datasets are publicly available.

研究の動機と目的

• テキストベースの常識知識ベースが、書かれていない暗黙の視覚的常識を捉えられていないという限界を是正すること。
• 画像から学習される視覚的常識が、純粋にテキストに基づく推論タスクの性能向上に寄与するかどうかを検討すること。
• 状況の想起と視覚的常識を要する2つの新しいベンチマーク、穴埋め（FITB）と視覚的パラフレージング（VP）を導入すること。
• 想像された視覚的シーンの生成と推論が、テキストのみのモデルを上回る推論性能を実現することを示すこと。

提案手法

• FITBタスクの各候補選択肢に対して、テキストをガイドとして用いて抽象的なイラスト風のシーンを生成する。
• テキストと想像された視覚的シーンの両方を用いて推論を行う、テキストと視覚を統合したモデルを用いる。
• 視覚的パラフレージングのタスクでは、2つの説明文それぞれに対してシーンを生成し、それらが同じ基本的なシーンを描写しているかどうかを分類する。
• 3つの視覚的特徴タイプ（物体の存在、属性、空間的配置）を通じて視覚的常識を統合する。
• 条件付きランダムフィールドに類似したスコア関数を用いて、テキスト的特徴と視覚的特徴を統合する推論モデルを訓練する。
• テキストに明示的に言及されていない追加の物体を推論することで、シーンの妥当性を向上させるシーン生成モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 画像から得られる視覚的常識は、純粋にテキストに基づく推論タスクの性能向上に寄与するか？
• RQ2 状況の想起による視覚的シーンの生成が、穴埋めや視覚的パラフレージングといったタスクの推論性能にどの程度向上をもたらすか？
• RQ3 物体の存在、属性、空間的配置といった異なる視覚的特徴が、性能向上にどの程度寄与しているか？
• RQ4 視覚的アシストが、明示的な視覚的入力のないタスクにおいてもテキストのみのモデルを上回る性能を達成できるか？
• RQ5 人間の合意度が高い質問において、視覚的常識による性能向上が顕著に増幅するか（すなわち、より複雑な推論を支援するか）？

主な発見

• 提案手法はFITBタスクで95.55%の正確度を達成し、テキストのみのベースラインを3.5ポイント上回った。
• 視覚的パラフレージングタスクでは95.08%の正確度を記録し、人間の平均（94.78%）とテキストのみのベースラインを上回った。
• 視覚的特徴の導入により、すべてのカテゴリで性能向上が見られ、特に物体の存在が最も寄与（0.93%の向上）。
• 空間的配置特徴はVPタスクで0.60%の向上をもたらし、関係性に基づく視覚的知識が意味的類似度タスクに有用であることが示された。
• 高合意度の質問では、性能向上がより顕著に現れ、ベースライン比で3%から6%の向上を示した。これは、視覚的想像が複雑な推論を支援している可能性を示唆している。
• 言及された物体のみを含む単純なシーン生成器では95.01%の性能を示した。これは、明示的な言及を超えた推論による視覚的シーンの生成が、明確な価値をもたらしていることを示している。