[論文レビュー] Neural Language Modeling with Visual Features

Antonios Anastasopoulos, Shankar Kumar+1 more|arXiv (Cornell University)|Mar 7, 2019

Multimodal Machine Learning Applications参考文献 23被引用数 23

ひとこと要約

本稿では、動画からの時間的視覚特徴をテキストベースの言語モデルに統合するマルチモーダル再帰ニューラル言語モデルを提案する。視覚的・テキスト的埋め込みのミドルフュージョンを用いることで、YouCook2では28%の相対的 perplexity 減少、Something-Something-v2では20%の相対的低下を達成し、テキストのみのベースラインや先行研究を大きく上回り、特に動画に表示されるエンティティに対して顕著な向上を示す。

ABSTRACT

Multimodal language models attempt to incorporate non-linguistic features for the language modeling task. In this work, we extend a standard recurrent neural network (RNN) language model with features derived from videos. We train our models on data that is two orders-of-magnitude bigger than datasets used in prior work. We perform a thorough exploration of model architectures for combining visual and text features. Our experiments on two corpora (YouCookII and 20bn-something-something-v2) show that the best performing architecture consists of middle fusion of visual and text features, yielding over 25% relative improvement in perplexity. We report analysis that provides insights into why our multimodal language model improves upon a standard RNN language model.

研究の動機と目的

• 時間的視覚的文脈を組み込むことで、ニューラル言語モデルの性能が向上するかを調査すること。
• 再帰的言語モデルにおける視覚的・テキスト的特徴を統合するためのアーキテクチャ設計を検討すること。
• 先行のマルチモーダル言語モデル研究よりも2桁大きい規模のデータセットで学習および評価すること。
• 視覚的特徴が予測に意味的に活用されているかどうか、特に動画に anchored されたエンティティに関して評価すること。
• 視覚的文脈が perplexity 減少およびモデルの頑健性に与える寄与度を分析すること。

提案手法

• モデルは、各時刻ステップで単語埋め込みと動画フレーム埋め込みを連結して入力特徴を形成する標準的な RNNLM を使用する。
• 3つの統合戦略を評価する：イ早朝融合（単語と視覚的埋め込みの連結）、ミドル融合（RNN隠れ層内での統合）、およびラテント融合（別々の処理後、遅延連結）。
• 線形結合バージョンは、トレーニング可能な行列 $ K^w $ および $ K^v $ を用いて単語と視覚的埋め込みの重み付き和を学習する。
• 学習された重み付けメカニズムは、現在の単語文脈に基づいて視覚的埋め込みをシグモイドゲートで調整する。
• 2つの大規模データセットでモデルを学習する：YouCook2（2,000本の調理動画と字幕）、Something-Something-v2（220Kの短い行動動画とテンプレートベースの説明）。
• perplexity は保持された検証セット上で計算され、視覚的特徴をゼロベクトルに置き換えることで、視覚的特徴の影響をアブレーションスタディで評価する。

実験結果

リサーチクエスチョン

• RQ1 動画からの時間的視覚的特徴を組み込むことで、言語モデルの perplexity に測定可能な改善がもたらされるか？
• RQ2 イ早朝融合、ミドル融合、ラテント融合のうち、どのアーキテクチャが視覚的・テキスト的特徴をより効果的に統合するか？
• RQ3 視覚的特徴が、動画に表示されるエンティティを指す単語の予測にどの程度寄与しているか？
• RQ4 視覚的特徴が欠落している場合、または学習とテストデータのドメインにシフトがある場合、マルチモーダルモデルの頑健性はどの程度保たれるか？
• RQ5 モデルは、現在の単語文脈に基づいて視覚入力を効果的にゲートまたは重み付けする能力を効果的に学習できるか？

主な発見

• 視覚的・テキスト的特徴のミドル融合が最も優れた性能を示し、YouCook2データセットではテキストのみのベースライン比で28%の相対的 perplexity 減少を達成した。
• ラテント融合は YouCook2 で12%、Something-Something-v2 で5%の相対的 perplexity 減少をもたらし、遅延統合による中程度の向上を示した。
• イ早朝融合はテキストのみのベースラインを下回り、早期連結が効果的な言語モデル学習を妨げていることが示唆された。
• 線形結合および学習された重み付けバージョンは、それぞれ YouCook2 で6%および14%の相対的向上を示したが、Something-Something-v2 では限定的な向上にとどまった。
• 視覚的特徴を無効化した場合、性能はテキストのみのモデルと同等となり、視覚的特徴が実際に活用されており、無視されていないことが確認された。
• perplexity の最大の向上は、動画に登場するエンティティに対応する語素に対して観察され、88%の文でマルチモーダルモデルがより良いスコアを達成した。