[論文レビュー] Multimodal Deep Learning

Cem Akkus, Luyang Chu+15 more|arXiv (Cornell University)|Jan 12, 2023

Speech and dialogue systems被引用数 9

ひとこと要約

NLPとCVの最先端、マルチモーダルアーキテクチャ、データセット、ベンチマーク、および text-to-image や image-to-text システムのようなクロスモーダルモデルを概説する調査風の冊子で、融合とマルチ用途モデルに関する議論を含む。

ABSTRACT

This book is the result of a seminar in which we reviewed multimodal approaches and attempted to create a solid overview of the field, starting with the current state-of-the-art approaches in the two subfields of Deep Learning individually. Further, modeling frameworks are discussed where one modality is transformed into the other, as well as models in which one modality is utilized to enhance representation learning for the other. To conclude the second part, architectures with a focus on handling both modalities simultaneously are introduced. Finally, we also cover other modalities as well as general-purpose multi-modal models, which are able to handle different tasks on different modalities within one unified architecture. One interesting application (Generative Art) eventually caps off this booklet.

研究の動機と目的

• NLPとCVにおける最先端のマルチモーダル深層学習の堅固な概要を提供する。
• マルチモーダルアーキテクチャにおけるモダリティの導入と表現および融合の方法を要約する。
• NLP、CV、マルチモーダルタスクのデータセット、ベンチマーク、リソースを調査する。
• テキストと画像の相互翻訳を行うアーキテクチャと、複数のモダリティをサポートするモデルを提示する。
• 追加モダリティ、構造化データ、生成アートなど、マルチモーダル学習の広範なトピックを強調する。

提案手法

• モダリティ、アーキテクチャ、将来のトピックの章を含む、構造化されたブックレットとして内容を整理する。
• 埋め込み、エンコーダ–デコーダ、アテンション、トランスフォーマーなど、基礎的なNLPおよびCV技術をレビューする。
• Img2Text および Text2Image アーキテクチャを説明する（例: MS COCO, M2 Transformer, diffusion models）。
• テキストと画像を整合させる、または統合するモデル（例: CLIP, ALIGN, Florence）およびビジョン-ランゲージ・トランスフォーマー（VilBert, Flamingo）について議論する。
• 複数のモダリティとタスクを扱うための融合戦略とマルチ用途モデルを探る。
• 追加モダリティと生成アートの応用へマルチモーダル学習を拡張する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル学習に関連するNLPとCVの核心的な最先端技術は何か？
• RQ2 テキストと画像のモダリティを統合されたアーキテクチャでどのように効果的に表現・融合できるか？
• RQ3 どのベンチマークとデータセットが、タスクを横断してマルチモーダルモデルを最も適切に比較できるか？
• RQ4 主要なクロスモーダルモデルは何で、標準VLベンチマークでどのように性能を発揮するか？
• RQ5 マルチモーダルモデルを追加のモダリティとマルチ用途タスクへ拡張するには？

主な発見

• 語彙表現、エンコーダ–デコーダ、アテンション、そして Transformers は現代のNLPとマルチモーダルシステムの基盤である。
• 自己教師あり学習と対比学習（例: SimCLR, BYOL, SwAV）は、強い監視なしで卓越した視覚表現を推進する。
• テキスト→画像および画像→テキストのシステムは、GANs/VAEs から拡散モデルやトランスフォーマーを基盤としたアーキテクチャへ進化してきた。
• クロスモーダルモデル（例: CLIP, Flamingo, VilBert）は、堅牢なテキスト–画像整合性とFew-shot/Zero-shot機能を実現する。
• ベンチマークと大規模マルチモーダルデータセット（例: COCO, VG, CC, Flickr30k, LAION-400M/5B）は、VL-PTMs 全体の進展を評価する上で中心的である。
• マルチ用途および生成アートの応用は、従来のタスクを超えるマルチモーダル学習の広範な可能性を示す。