[論文レビュー] Effect of Vision-and-Language Extensions on Natural Language Understanding in Vision-and-Language Models.

Taichi Iki, Akiko Aizawa|arXiv (Cornell University)|Apr 16, 2021

Multimodal Machine Learning Applications参考文献 21被引用数 6

ひとこと要約

本論文は、視覚・言語（V&L）拡張がマルチモodalモデルの自然言語理解能力に与える影響を調査する。GLUEベンチマークを用いて、視覚的拡張が言語性能を低下させることを発見し、構造的変更よりもV&L事前学習の影響がより顕著であることを示し、言語能力を保持するための事前学習戦略の必要性を強調する。

ABSTRACT

Extending language models with structural modifications and vision-and-language (V&L) pretraining are successful ways of making V&L models that can ground vision and language. Potential applications of these advanced models include multi-modal machine reading comprehension models and multi-modal dialogue models, which require language ability upon grounding. Although language capability is crucial for such applications, the impact of extending their visual capabilities on their language capabilities is not fully understood. This paper investigates how visual extension affects the language capability of V&L models using the GLUE benchmark. We found that visual extension causes some decreases in language capability and that V&L pretraining has a greater impact than structural modifications on the decreases. Our results suggest the need for further study on pretraining that can maintain or, if possible, improve a model's language capability.

研究の動機と目的

• 視覚的拡張が視覚・言語モデルの言語能力に与える影響を理解すること。
• 構造的変更とV&L事前学習のどちらが言語性能の低下により大きな影響を与えるかを評価すること。
• GLUEベンチマークを標準的指標として用いて、V&Lモデルにおける言語理解を評価すること。
• マルチモーダルモデルにおける視覚的根拠付けと言語的熟達性の間の設計上のトレードオフを特定すること。

提案手法

• 本研究は、視覚エンコーダーやマルチモーダルアテンションメカニズムを含む、さまざまな視覚的拡張を用いて視覚・言語モデルを微調整する。
• 視覚と言語の入力を統合するために、モality特化のトークン埋め込みとクロスアテンション層などの構造的変更を適用する。
• 視覚的および言語的表現を整合させるために、視覚・言語対照的目的を用いてモデルを事前学習する。
• 自然言語理解は、複数のNLUタスクで測定されるGLUEベンチマークを用いて評価する。
• 視覚的拡張の影響は、視覚コンponentを追加する前後でのGLUEスコアの比較によって定量化する。
• 統計的分析により、性能低下に寄与するV&L事前学習と構造的変更の寄与度を分離する。

実験結果

リサーチクエスチョン

• RQ1 視覚的機能を追加すると、視覚・言語モデルの言語理解パフォーマンスにどのような影響を与えるか？
• RQ2 V&L事前学習と構造的変更のどちらが言語能力により大きな悪影響を与えるか？
• RQ3 視覚的拡張は、GLUEのような標準的なNLUベンチマークでどの程度パフォーマンスを低下させるか？
• RQ4 代替的な事前学習戦略により、V&Lモデルの言語能力を維持または向上させることは可能か？

主な発見

• 視覚的拡張は、GLUEベンチマークにおける言語理解パフォーマンスの測定可能な低下を引き起こす。
• V&L事前学習は、構造的変更よりも性能低下により顕著な寄与をしている。
• 視覚的拡張を施したモデルは、文書的含意やセンチメント分析を含む複数のGLUEタスクでパフォーマンスが低下している。
• V&L事前学習の負の影響は、視覚的根拠付けと言語的熟達性の間のトレードオフを示唆している。
• 構造的変更のみがパフォーマンス低下を引き起こすが、その影響は小さいため、言語能力への影響が小さいことが示唆される。
• 本結果は、マルチモーダルモデルにおける言語理解を維持または向上させるための今後の事前学習手法の必要性を示唆する。