[論文レビュー] Emerging Trends of Multimodal Research in Vision and Language.

Shagun Uppal, Sarthak Bhagat+5 more|arXiv (Cornell University)|Oct 19, 2020

Multimodal Machine Learning Applications参考文献 325被引用数 4

ひとこと要約

本論文は、マルチモodalなビジョンアンドランゲージ研究における新興トレンドについて包括的なサーベイを提供し、意味的認知およびコンテンツ生成におけるタスク定式化、評価戦略、課題を分析している。最近の文献からの知見を通じて、モジュラーかつ透明性のあるAIシステムへの重要な方向性を特定している。

ABSTRACT

Deep Learning and its applications have cascaded impactful research and development with a diverse range of modalities present in the real-world data. More recently, this has enhanced research interests in the intersection of the Vision and Language arena with its numerous applications and fast-paced growth. In this paper, we present a detailed overview of the latest trends in research pertaining to visual and language modalities. We look at its applications in their task formulations and how to solve various problems related to semantic perception and content generation. We also address task-specific trends, along with their evaluation strategies and upcoming challenges. Moreover, we shed some light on multi-disciplinary patterns and insights that have emerged in the recent past, directing this field towards more modular and transparent intelligent systems. This survey identifies key trends gravitating recent literature in VisLang research and attempts to unearth directions that the field is heading towards.

研究の動機と目的

• ビジョンアンドランゲージマルチモーダル研究における最近の進展について詳細な概要を提供すること。
• 視覚および言語モダリティにおける意味的認知およびコンテンツ生成のタスク固有のトレンドを分析すること。
• 評価戦略を検討し、分野における未解決の課題を同定すること。
• よりモジュラーかつ解釈可能な知能システムの開発を促進する多様な分野のパターンを強調すること。
• 最近の文献から得られるキーポイントを特定することで、分野の発展軌跡をマッピングすること。

提案手法

• ビジョンアンドランゲージ研究分野における最近の文献を体系的にレビューし、支配的トレンドおよびパターンを同定すること。
• 問題定式化に注目して、研究タスクを意味的認知とコンテンツ生成に分類すること。
• さまざまなビジョンアンドランゲージタスクで用いられる評価手法の分析。
• モダリティの整合性、一般化、解釈可能性といった繰り返し現れる課題の同定。
• 多様な分野の研究から得られる知見を統合し、モジュラーかつ透明性のあるAIシステムの設計を支援すること。
• テーマ的分析を用いて、分野における新興の研究方向性および技術的シフトを明らかにすること。

実験結果

リサーチクエスチョン

• RQ1 現代のビジョンアンドランゲージ研究における支配的タスク定式化は何か？
• RQ2 複雑なマルチモーダルタスクの要請に応じて、評価戦略はどのように進化しているか？
• RQ3 ビジョンアンドランゲージ理解および生成の進展を妨げる主な課題は何か？
• RQ4 多様な分野の知見は、より透明性およびモジュラーなAIシステムの開発にどのように寄与しているか？
• RQ5 今後のビジョンアンドランゲージ研究を形作る新興の研究方向性は何か？

主な発見

• 最近の研究は、視覚的および言語的コンテンツの共同理解と生成にますます注目しており、意味的認知に強い強調がなされている。
• 評価戦略は、マルチモーダル推論の複雑さを反映して、よりタスク固有かつ洗練されたものへと進化している。
• 多様な分野の知見から、モジュラーかつ解釈可能なシステムへの傾向が顕著に現れている。
• モダリティの整合性、耐性、一般化に関する課題は、継続的な研究において中心的な位置を占め続けている。
• 構造的でコンponentsベースのシステム設計を通じて、分野全体がより透明性のある説明可能なAIへとシフトしている。
• トランスフォーマーに基づくアーキテクチャのおかげで、特に画像キャプション生成および視覚的質問応答のコンテンツ生成タスクが急速に進展している。