[논문 리뷰] MultiBench: Multiscale Benchmarks for Multimodal Representation Learning

Paul Pu Liang, Yiwei Lyu외 10명|PubMed|2021. 07. 15.

Topic Modeling참고 문헌 160인용 수 22

한 줄 요약

MULTIBENCH는 6개의 연구 분야를 아우르는 15개 데이터셋, 10개의 모odal리티, 20개의 작업을 통합한 통합적이고 대규모의 벤치마크를 제공하며, 다중모odal 표현 학습을 위한 표준화된 평가를 가능하게 한다. 이는 모델 성능, 계산 복잡도, 노이즈 또는 손실된 모달리티에 대한 강건성 평가를 가능하게 하며, 20개의 핵심 방법론에 대한 표준화된 구현을 통해 15개 데이터셋 중 9개에서 SOTA 성능을 달성한다.

ABSTRACT

Learning multimodal representations involves integrating information from multiple heterogeneous sources of data. It is a challenging yet crucial area with numerous real-world applications in multimedia, affective computing, robotics, finance, human-computer interaction, and healthcare. Unfortunately, multimodal research has seen limited resources to study (1) generalization across domains and modalities, (2) complexity during training and inference, and (3) robustness to noisy and missing modalities. In order to accelerate progress towards understudied modalities and tasks while ensuring real-world robustness, we release MultiBench, a systematic and unified large-scale benchmark for multimodal learning spanning 15 datasets, 10 modalities, 20 prediction tasks, and 6 research areas. MultiBench provides an automated end-to-end machine learning pipeline that simplifies and standardizes data loading, experimental setup, and model evaluation. To enable holistic evaluation, MultiBench offers a comprehensive methodology to assess (1) generalization, (2) time and space complexity, and (3) modality robustness. MultiBench introduces impactful challenges for future research, including scalability to large-scale multimodal datasets and robustness to realistic imperfections. To accompany this benchmark, we also provide a standardized implementation of 20 core approaches in multimodal learning spanning innovations in fusion paradigms, optimization objectives, and training approaches. Simply applying methods proposed in different research areas can improve the state-of-the-art performance on 9/15 datasets. Therefore, MultiBench presents a milestone in unifying disjoint efforts in multimodal machine learning research and paves the way towards a better understanding of the capabilities and limitations of multimodal models, all the while ensuring ease of use, accessibility, and reproducibility. MultiBench, our standardized implementations, and leaderboards are publicly available, will be regularly updated, and welcomes inputs from the community.

연구 동기 및 목표

• 다양한 도메인과 모달리티를 아우르는 체계적이고 대규모의 벤치마크가 부족한 문제를 해결한다.
• 효율성 인식 연구를 지원하기 위해 모델 성능, 학습/추론 시간, 메모리 사용량 간의 상호 상충 관계를 정량화한다.
• 실제 데이터의 불완전성(노이즈 또는 손실된 모달리티 등)에 대한 다중모달 모델의 강건성을 체계적으로 평가한다.
• 데이터 로딩, 모델 훈련, 평가의 표준화된 재현 가능한 파이프라인을 제공하여 연구 속도를 가속화하고 비교 가능성을 확보한다.
• 공개된 GitHub 리포지토리를 통해 새로운 데이터셋, 모델, 평가 프로토콜 기여를 가능하게 하여 공동체 주도적 확장성을 확보한다.

제안 방법

• 10개의 모달리티(예: 영상, 오디오, 텍스트, 힘 센서, 시계열 데이터)를 포함하는 15개의 다양한 데이터셋과 6개의 연구 분야(예: 헬스케어, 금융, 로봇공학)를 아우르는 20개의 예측 작업을 통합하는 모듈식이고 확장 가능한 벤치마크 프레임워크를 설계한다.
• 데이터 로딩, 모델 훈련, 평가, 로깅까지의 자동화된 엔드 투 엔드 파이프라인을 구현하여 재현 가능성과 사용 용이성을 확보한다.
• 모델의 도메인 및 모달리티 간 일반화 능력, 학습 및 추론 중 시간 및 공간 복잡도, 모달리티 손상 또는 누락된 데이터 상황에서의 강건성 평가를 위한 표준화된 메트릭을 통합한다.
• 다양한 융합 파라다임, 최적화 목표, 훈련 전략을 포함한 20개의 핵심 다중모달 학습 방법론에 대한 표준화된 구현을 제공한다.
• 명확한 가이드라인과 함께 테스트 스크립트 및 호환성 검사 기능을 포함한 문서화된 GitHub 리포지토리를 통해 공동체 기여를 지원한다. 신규 데이터셋, 데이터로더, 모델의 추가를 가능하게 한다.
• 공정성 평가를 향한 향후 확장을 계획하며, 편향 탐지용 인간 주석 데이터, 공정성 인식 알고리즘, 편향 평가 메트릭을 파이프라인에 통합할 계획이다.

실험 결과

연구 질문

• RQ1 비시각-언어 작업을 초월하여 다중모달 모델은 다양한 도메인과 모달리티 간에 어떻게 일반화되는가?
• RQ2 다중모달 학습에서 모델 성능, 학습/추론 시간, 메모리 소비량 간의 상호 상충 관계는 어떠한가?
• RQ3 노이즈 또는 손실된 모달리티와 같은 실질적인 데이터 불완전성에 대해 다중모달 모델은 얼마나 강건한가?
• RQ4 기존 방법론의 표준화된 구현이 광범위한 다중모달 벤치마크에서 SOTA 성능 향상에 얼마나 기여하는가?
• RQ5 공동체 주도 기여는 다중모달 벤치마크의 확장성, 다양성, 장기적 지속 가능성에 어떻게 기여하는가?

주요 결과

• MULTIBENCH 벤치마크에서 20개의 기존 다중모달 학습 방법론에 대한 표준화된 구현이 15개 데이터셋 중 9개에서 최신 기준(SOTA) 성능을 달성하였다.
• MULTIBENCH는 단일 통합 프레임워크 내에서 모델 성능, 계산 복잡도, 모달리티 불완전성에 대한 강건성 평가를 종합적으로 가능하게 한다.
• 이 벤치마크는 이전의 다중모달 벤치마크에서 자주 생략되었던 헬스케어, 금융, 로봇공학, 정서 컴퓨팅 등 다양한 연구 분야를 지원한다.
• 자동화된 파이프라인은 데이터 로딩, 훈련, 평가 워크플로우의 표준화로 연구자들이 접근하기 위한 장벽을 크게 낮춘다.
• 확장 가능하고 공동체 기반의 프레임워크로서, 공개된 GitHub 리포지토리를 통해 새로운 데이터셋, 모델, 평가 프로토콜 기여가 가능하다.
• 향후 확장은 공정성 인식 평가를 포함할 예정이며, 편향 탐지용 인간 주석 데이터, 공정성 인식 알고리즘, 편향 평가 메트릭을 파이프라인에 추가할 계획이다.