[論文レビュー] iParaphrasing: Extracting Visually Grounded Paraphrases via an Image

Chenhui Chu, Mayu Otani+1 more|arXiv (Cornell University)|Jun 12, 2018

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、画像に anchored されたクラスタリングを用いて、同じ画像の視覚的概念を異なるフレーズ表現で記述する視覚的根拠のある並記語（VGPs）を抽出する、新しいタスク iParaphrasing を提案する。画像アテンションを統合した教師ありニューラルネットワークを提案し、既存手法を上回る性能を達成し、Flickr30k Entities データセット上で調整ランダムインデックス（ARI）62.35 および Fスコア 84.16 を達成した。視覚的文脈の価値が並記語の同定に寄与することが示された。

ABSTRACT

A paraphrase is a restatement of the meaning of a text in other words. Paraphrases have been studied to enhance the performance of many natural language processing tasks. In this paper, we propose a novel task iParaphrasing to extract visually grounded paraphrases (VGPs), which are different phrasal expressions describing the same visual concept in an image. These extracted VGPs have the potential to improve language and image multimodal tasks such as visual question answering and image captioning. How to model the similarity between VGPs is the key of iParaphrasing. We apply various existing methods as well as propose a novel neural network-based method with image attention, and report the results of the first attempt toward iParaphrasing.

研究の動機と目的

• 画像内の多様な文脈的記述において、同じ視覚的概念を記述する並記語を同定する課題に対処すること。
• 視覚的根拠のある並記語（VGPs）を活用することで、視覚的質問応答や画像キャプションなどのマルチモーダル NLP タスクを改善すること。
• テキストのみでは曖昧または意味的に多様な並記語の同定において、視覚的文脈がどのように寄与するかを調査すること。
• テキスト的および視覚的特徴を統合して VGP の類似度をモデル化する、ニューラルネットワークモデルの開発と評価を行うこと。

提案手法

• 同じ画像領域を記述するフレーズを VGP としてグループ化するクラスタリングタスクとして iParaphrasing を定式化する。
• 複数の既存の非教師あり類似度手法（局所化ベース、翻訳確率ベース、埋め込みベース）を適用する。
• テキスト特徴（例：FastText、CCA）と視覚特徴を画像アテンションを介して統合する、新しい教師ありニューラルネットワーク（SNN）を提案する。
• フレーズペアを比較する際、関連する画像領域を動的に重みづける画像アテンション機構を用い、意味的に類似しているが視覚的に異なる表現の区別を向上させる。
• 純粋なテキストモデルとマルチモーダルモデルの長所を組み合わせるため、SNN と SNN+画像モデルのラテナル融合アンサンブルを採用する。
• エンティティが事前に画像領域にアライメント済みのため、教師あり VGP 抽出が可能な Flickr30k Entities データセット上でモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的文脈は、同じ画像領域を記述するがテキスト的に多様な意味的同等の並記語を同定する際に顕著に改善をもたらすか？
• RQ2 埋め込みベースや翻訳ベースなどの異なる非教師あり類似度手法は、視覚的根拠のある並記語の検出においてどのように比較されるか？
• RQ3 画像アテンションを備えたニューラルネットワークは、純粋なテキスト的または視覚的ベースラインをどれほど上回るか？
• RQ4 どのような種類の並記語ペアが視覚的情報によって最も利益を受けるか？逆に、視覚的信号が性能を低下させる場合があるのはどのような状況か？
• RQ5 ノイズの多いフレーズ埋め込みや誤ったアテンション機構は、VGP 検出における誤検出（偽陽性）をどのように引き起こすか？

主な発見

• 画像アテンションを備えた SNN+画像モデルが最良の性能を示し、調整ランダムインデックス（ARI）62.35 および Fスコア 84.16 を達成し、他のすべての手法を上回った。
• 画像アテンションは、人物関連の並記語において約 50% のケースで VGP 検出を向上させた。これは、テキスト的記述が大きく異なるが同じ視覚的エンティティを指している場合に顕著であった。
• 約 30% のケースで、シーンや物体などの非人物エンティティの並記語同定に視覚的文脈が寄与したが、アテンションの正確性はばらつきが見られた。
• 約 20% のケースで、視覚的情報が性能を低下させた。特に、意味的に曖昧な領域（例：「窓」を「店舗」と誤認）にアテンションが誤って集中した場合に顕著であった。
• 偽陽性は、主にノイズの多いフレーズ埋め込み（例：「ブーツ」と「ハイヒール」が埋め込み空間で近接している）や、類似した画像領域に誤ってアテンションが集中したことが原因である。
• SNN と SNN+画像モデルのアンサンブルはさらなる性能向上を示し、純粋なテキストモデルとマルチモーダルモデルの相補的な長所が裏付けられた。