[論文レビュー] MultiBench: Multiscale Benchmarks for Multimodal Representation Learning

Paul Pu Liang, Yiwei Lyu+10 more|PubMed|Jul 15, 2021

Topic Modeling参考文献 160被引用数 22

ひとこと要約

MULTIBENCHは、10のモダリティと20のタスクをカバーする6つの研究分野にまたがる15のデータセットを統合した、統合的で大規模なマルチモーダル表現学習のベンチマークを提供する。モデルのパフォーマンス、計算複雑性、およびノイズや欠損モダリティに対するロバストネスの標準化された評価を可能にし、20のコア手法の標準実装により15のデータセットのうち9つでSOTAを達成した。

ABSTRACT

Learning multimodal representations involves integrating information from multiple heterogeneous sources of data. It is a challenging yet crucial area with numerous real-world applications in multimedia, affective computing, robotics, finance, human-computer interaction, and healthcare. Unfortunately, multimodal research has seen limited resources to study (1) generalization across domains and modalities, (2) complexity during training and inference, and (3) robustness to noisy and missing modalities. In order to accelerate progress towards understudied modalities and tasks while ensuring real-world robustness, we release MultiBench, a systematic and unified large-scale benchmark for multimodal learning spanning 15 datasets, 10 modalities, 20 prediction tasks, and 6 research areas. MultiBench provides an automated end-to-end machine learning pipeline that simplifies and standardizes data loading, experimental setup, and model evaluation. To enable holistic evaluation, MultiBench offers a comprehensive methodology to assess (1) generalization, (2) time and space complexity, and (3) modality robustness. MultiBench introduces impactful challenges for future research, including scalability to large-scale multimodal datasets and robustness to realistic imperfections. To accompany this benchmark, we also provide a standardized implementation of 20 core approaches in multimodal learning spanning innovations in fusion paradigms, optimization objectives, and training approaches. Simply applying methods proposed in different research areas can improve the state-of-the-art performance on 9/15 datasets. Therefore, MultiBench presents a milestone in unifying disjoint efforts in multimodal machine learning research and paves the way towards a better understanding of the capabilities and limitations of multimodal models, all the while ensuring ease of use, accessibility, and reproducibility. MultiBench, our standardized implementations, and leaderboards are publicly available, will be regularly updated, and welcomes inputs from the community.

研究の動機と目的

• マルチモーダル学習における多様な分野やモダリティにわたる一般化を評価する体系的で大規模なベンチマークの不足に対処すること。
• 研究の効率性に配慮するため、モデルのパフォーマンス、トレーニング／インファレンス時間、メモリ使用量のトレードオフを定量化すること。
• 現実のデータの不完全性を反映するノイズや欠損モダリティに対するマルチモーダルモデルのロバストネスを体系的に評価すること。
• データローディング、モデルトレーニング、評価のための標準化・再現可能なパイプラインを提供し、研究の加速と比較可能性を確保すること。
• 公開されたGitHubリポジトリを通じた新規データセット、モデル、評価プロトコルの貢献を可能にするコミュニティ主導の拡張を促進すること。

提案手法

• 10のモダリティ（例：動画、音声、テキスト、力センサ、時系列データ）をカバーする15の多様なデータセットと、6つの研究分野（例：医療、ファイナンス、ロボット工学）にまたがる20の予測タスクを統合するモジュラで拡張可能なベンチマークフレームワークを設計する。
• 再現性と使いやすさを確保するため、データローディング、モデルトレーニング、評価、ログ出力のエンドツーエンド自動パイプラインを実装する。
• ドメインおよびモダリティにわたるモデルの一般化、トレーニングおよびインファレンス中の時間的・空間的複雑性、モダリティの破損や欠損データ下でのロバストネスを評価するための標準化されたメトリクスを統合する。
• 多様な統合パラダイム、最適化目的関数、トレーニング戦略を備えた20のコアマルチモーダル学習手法の標準実装を提供する。
• 新規データセット、データローダ、モデルの追加に向けた明確なガイドラインを含む文書化されたGitHubリポジトリを提供し、テストスクリプトと互換性チェックを含む貢献を支援する。
• 公平性評価の今後の拡張を計画し、バイアス検出のための人間によるアノテーション付きデータ、フェアネス指向のアルゴリズム、バイアス評価メトリクスをパイプラインに追加する予定である。

実験結果

リサーチクエスチョン

• RQ1 視覚言語タスクを超えて、マルチモーダルモデルは多様な分野やモダリティにどのように一般化するのか？
• RQ2 マルチモーダル学習において、モデルのパフォーマンス、トレーニング／インファレンス時間、メモリ消費量の間にはどのようなトレードオフがあるのか？
• RQ3 ノイズや欠損モダリティといった現実的なデータの不完全性に対して、マルチモーダルモデルはどの程度ロバストなのか？
• RQ4 既存手法の標準実装は、広範なマルチモーダルベンチマークにおいてどの程度SOTAパフォーマンスを向上させられるのか？
• RQ5 コミュニティ主導の貢献は、マルチモーダルベンチマークのスケーラビリティ、多様性、長期的持続可能性をどの程度向上させられるのか？

主な発見

• 20の既存マルチモーダル学習手法の標準実装が、MULTIBENCHベンチマークの15のデータセットのうち9つでSOTAパフォーマンスを達成した。
• MULTIBENCHは、1つの統合フレームワーク内でモデルのパフォーマンス、計算複雑性、モダリティの不完全性に対するロバストネスを包括的に評価できる。
• このベンチマークは、従来のマルチモーダルベンチマークでしばしば無視されがちな医療、ファイナンス、ロボット工学、感情認識計算を含む多様な研究分野をサポートする。
• 自動化されたパイプラインにより、データローディング、トレーニング、評価ワークフローの標準化が進み、研究者の参入障壁が著しく低下した。
• フレームワークは拡張可能でコミュニティ主導であり、新規データセット、モデル、評価プロトコルの貢献を可能にする公開GitHubリポジトリを備えている。
• 今後の拡張では、フェアネス指向の評価を計画しており、バイアス検出のための人間アノテーション付きデータ、フェアネス指向のアルゴリズム、バイアス評価メトリクスの追加を予定している。