[論文レビュー] Trends in Integration of Vision and Language Research: A Survey of Tasks, Datasets, and Methods

Aditya Mogadala, Marimuthu Kalimuthu+1 more|arXiv (Cornell University)|Jul 22, 2019

Multimodal Machine Learning Applications参考文献 423被引用数 87

ひとこと要約

本サーベイは、10の主要な視覚・言語統合タスクについて、その定式化、データセット、手法、評価指標、最先端の結果を包括的に分析する。マルチモーダル表現学習、特に視覚・言語事前学習の進展を統合的に解説し、より強固で一般化可能なマルチモーダルAIシステムのための未解決の課題と今後の研究方向性を特定する。

ABSTRACT

Interest in Artificial Intelligence (AI) and its applications has seen unprecedented growth in the last few years. This success can be partly attributed to the advancements made in the sub-fields of AI such as machine learning, computer vision, and natural language processing. Much of the growth in these fields has been made possible with deep learning, a sub-area of machine learning that uses artificial neural networks. This has created significant interest in the integration of vision and language. In this survey, we focus on ten prominent tasks that integrate language and vision by discussing their problem formulation, methods, existing datasets, evaluation measures, and compare the results obtained with corresponding state-of-the-art methods. Our efforts go beyond earlier surveys which are either task-specific or concentrate only on one type of visual content, i.e., image or video. Furthermore, we also provide some potential future directions in this field of research with an anticipation that this survey stimulates innovative thoughts and ideas to address the existing challenges and build new applications.

研究の動機と目的

• 狭義のタスク特化型レビューを超えて、10の代表的視覚・言語統合タスクを統一的かつ詳細にサーベイすること。
• これらのタスクにおいて、既存のデータセット、評価指標、最先端手法を体系的に比較すること。
• 下流のマルチモーダルタスクにおける性能向上に寄与する共同視覚・言語事前学習の役割と有効性を分析すること。
• 一般化や推論に関する視覚・言語統合における継続的な制限要因と未解決の課題を特定すること。
• マルチモーダルAI分野における具体的かつ実行可能な今後の研究方向性を提示することで、今後の研究を刺激すること。

提案手法

• 入力／出力モダリティと目的に基づいて、10のコアな視覚・言語タスクを分類・形式化する。
• 各タスクのための既存データセットをレビュー・分類し、その規模、アノテーションスタイル、カバー範囲を強調する。
• アテンション機構、クロスアテンション、マルチモーダルトランスフォーマー（例：LXMERT、UNITER、ViLBERT）などの技術を用いた最先端モデルを分析する。
• BLEU、CIDEr、ROUGE、FID、正確度などの標準的指標を用いて性能を評価し、手法間の定量的比較を行う。
• 大規模な画像・テキストペアから共有表現を学ぶ共同事前学習フレームワーク（例：VLP、UNITER、OSCAR）を検討する。
• 各タスクにおける事前学習手法の適合性をマッピングし、移行可能性と有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚・言語統合分野で最も顕著な10のタスクとは何か。それらはどのように正式に定義されているか。
• RQ2 これらのタスクのための既存データセットは、規模、アノテーション品質、タスクの複雑さの観点でどのように異なるか。
• RQ3 これらのタスクにおいて、最高のパフォーマンスを達成するモデルアーキテクチャとトレーニング戦略（特に共同事前学習）は何か。
• RQ4 現在のモデルが組み合わせ的推論、分布外の例、視覚的グランドリングの処理において抱える主な制限は何か。
• RQ5 マルチモーダル理解における人間水準とモデル水準のパフォーマンスギャップを埋めるために、どのような今後の研究方向性が有効か。

主な発見

• 視覚・言語事前学習（VLP）は、10の全タスクにおいて性能を著しく向上させ、UNITER や LXMERT といったモデルが複数のベンチマークで最先端の結果を達成している。
• 組み合わせ的推論を要するタスク（例：VQA、CLEVR-CoGenT）は依然として困難であり、モデルは分布外または複雑な関係的クエリに対してはしばしば失敗する。
• 画像キャプション生成と視覚的質問応答は、標準ベンチマーク（例：MS-COCO、VQA v2.0）では高いパフォーマンスを示すが、CIDEr や正確度といった指標は依然として人間水準に達していない。
• 大規模データセット（例：Conceptual Captions、COCO）で学習されたマルチモーダル事前学習モデルは、最小限のファインチューニングで下流タスクに一般化しやすい。
• CIDEr や SPICE といった評価指標は文語的流暢さに敏感であるが、事実の正確性にはそれほど敏感ではないため、より強固な評価の必要性が浮き彫りになっている。
• 進展は見られるものの、モデルは長距離依存関係、視覚的推論、複雑なシーンにおけるグランドリングの処理に依然として苦労しており、人間水準の理解との大きなギャップが存在する。