[論文レビュー] Improving Visually Grounded Sentence Representations with Self-Attention

Kang Min Yoo, Youhyun Shin+1 more|arXiv (Cornell University)|Dec 2, 2017

Multimodal Machine Learning Applications参考文献 38被引用数 6

ひとこと要約

本稿では、視覚的側面に焦点を当てた文の表現学習のための自己注意を強化したエンコーダーを提案し、エンコーディング中に視覚的に顕著な語に注目できるようにすることで、言語と視覚の間の整合性を向上させている。結果は、自己注意を組み込むことで、特に普遍的文の表現と組み合わせた場合、転移タスクにおける性能が顕著に向上することを示しており、文の表現がより意味的にかつ視覚的に根拠を持つようになる。

ABSTRACT

Sentence representation models trained only on language could potentially suffer from the grounding problem. Recent work has shown promising results in improving the qualities of sentence representations by jointly training them with associated image features. However, the grounding capability is limited due to distant connection between input sentences and image features by the design of the architecture. In order to further close the gap, we propose applying self-attention mechanism to the sentence encoder to deepen the grounding effect. Our results on transfer tasks show that self-attentive encoders are better for visual grounding, as they exploit specific words with strong visual associations.

研究の動機と目的

• 言語と視覚の両方の信号をエンコーディングプロセスに深く統合することで、文の表現におけるグランドイング問題を解決すること。
• 従来のモデルがエンコーダーの最終隠れ状態でのみ言語と視覚を結びつけるという制限を克服すること。
• 文のエンコーダーにおける自己注意が、視覚的に関連の強い語を特定・強調する能力を向上させるかどうかを調査すること。
• マルチモodalなエンコーダー・デコーダー・フレームワークを用いて、言語と視覚の共同学習により、一般化された文の表現の質を向上させること。
• 自己注意的な文の表現が、タスク固有の微調整を必要としないまま、下流のNLP転移タスクで優れた性能を発揮することを示すこと。

提案手法

• [8]のCap2Allモデルをベースとして、マルチモーダルなエンコーダー・デコーダー・フレームワークを採用し、ソースキャプションから画像特徴量とターゲットキャプションを同時に予測する。
• エンコーダーに自己注意メカニズムを導入し、エンコーディング中に視覚的関連性が強い語に動的に注目できるようにする。
• 入力キャプションを双向LSTMでエンコードし、前方および後方の隠れ状態のmax-poolingにより文の表現を計算する。
• 文の表現を画像特徴空間に射影し、予測された画像特徴量と真値の画像特徴量の類似度を最大化する目的で、log-exp-sumのペairwiseランキング損失を用いて学習する。
• 文の表現をST-LN（層正則化スティッキースコラーズ）の表現と連結することで、一般化性能を向上させる。
• ミニバッチサイズ128でCOCO5Kデータセット上で学習し、負例は同じバッチ内から抽出する。

実験結果

リサーチクエスチョン

• RQ1 文のエンコーダーにおける自己注意が、視覚的に根拠を持つ文の表現の質を向上させることができるか？
• RQ2 モデルが視覚的に顕著な語に注目できることにより、下流のNLP転移タスクでの性能が向上するか？
• RQ3 自己注意エンコーダーは、標準的なLSTMベースのエンコーダーと比較して、視覚的グランドイングおよび転移性能において優れているか？
• RQ4 自己注意メカニズムが、視覚的関連性が強い語を特定・強調するのをどの程度支援するか？
• RQ5 自己注意が、タスク固有の微調整を必要とせずに、文の表現の表現力の向上に寄与するか？

主な発見

• 自己注意メカニズムは文の表現の質を顕著に向上させ、ST-LN表現と組み合わせた場合、8つの転移タスクのうち5つで性能向上を達成した。
• Att. Cap2AllモデルはMRPCでF1スコア81.88を達成し、ベースラインのCap2Allモデル（82.26）を上回った。SSTでは精度83.03を達成し、ベースラインの81.16を上回った。
• SICK類似度タスクでは、自己注意モデルがピアソン相関84.54を達成し、ベースラインのCap2All（84.37）をわずかに上回った。
• 注目可視化により、モデルが「man」、「black」、「guitar」、「cat」、「bowl」などの視覚的に顕著な語に注目していることが確認され、語レベルでの有効なグランドイングが実現していることが示された。
• CR、MPQA、MRPCで若干の性能低下が見られたが、全体的なトレンドとして一貫した向上が観察されたことから、自己注意が表現の豊かさを高めていると示唆された。
• 統一された目的関数に基づくエンドツーエンド学習にもかかわらず、画像およびキャプションの検索タスクにおいても、特化した手法と同等の性能を達成した。