[논문 리뷰] Efficient Multimodal Fusion via Interactive Prompting

Yaowei Li, Ruijie Quan외 2명|arXiv (Cornell University)|2023. 04. 13.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 깊이 있는 단모달 트랜스포머의 층에서 상호작용형 프롬프트를 사용하여 영향력 있고 양면적인 다중모달 상호작용을 가능하게 하는 메모리 효율적인 다중모달 융합 방법인 PMF를 제안한다. 프롬프트를 쿼리, 컨텍스트, 융합 유형으로 분리하고 이들 깊은 층의 벡터만 훈련시킴으로써, 전체 미세조정과 유사한 성능를 달성하면서도 훈련 가능한 파라미터가 3% 미만이며, 훈련 메모리 사용량이 최대 66% 감소한다.

ABSTRACT

Large-scale pre-training has brought unimodal fields such as computer vision and natural language processing to a new era. Following this trend, the size of multi-modal learning models constantly increases, leading to an urgent need to reduce the massive computational cost of finetuning these models for downstream tasks. In this paper, we propose an efficient and flexible multimodal fusion method, namely PMF, tailored for fusing unimodally pre-trained transformers. Specifically, we first present a modular multimodal fusion framework that exhibits high flexibility and facilitates mutual interactions among different modalities. In addition, we disentangle vanilla prompts into three types in order to learn different optimizing objectives for multimodal learning. It is also worth noting that we propose to add prompt vectors only on the deep layers of the unimodal transformers, thus significantly reducing the training memory usage. Experiment results show that our proposed method achieves comparable performance to several other multimodal finetuning methods with less than 3% trainable parameters and up to 66% saving of training memory usage.

연구 동기 및 목표

• 하위 작업을 위한 대규모 다중모달 모델의 미세조정으로 인한 높은 계산 및 메모리 비용을 해결하기 위해.
• 기존의 프롬프트 튜닝 방법은 전체 모델 깊이에서 기울기 계산을 하기 때문에 파라미터 업데이트는 줄이지만 메모리 사용량을 크게 줄이지 못하는 한계를 극복하기 위해.
• 쌍방향으로도 유연한 시각 및 언어 인코더 간의 다중모달 상호작용을 가능하게 하되, 짝지어진 다중모달 데이터가 필요로 하지 않도록 하기 위해.
• 단모달 트랜스포머의 깊은 층들에만 프롬프트 업데이트를 제한하여 훈련 중 메모리 소비를 줄이기 위해.
• 모듈러한 프레임워크를 개발하여 단모달 인코더의 쉽게 교체 가능하고, 추가 모달리티로의 확장성도 지원하기 위해.

제안 방법

• 시각 및 언어 인코더가 독립적으로 작동하고, 상호작용형 어텐션 유사 메커니즘을 통해 상호작용하는 두 스트림, 평행 모듈러 융합 프레임워크를 제안한다.
• 쿼리 프롬프트, 쿼리 컨텍스트 프롬프트, 융합 컨텍스트 프롬프트의 세 가지 유형의 상호작용형 프롬프트를 도입하며, 각각 다중모달 정보 교환에서 다른 역할을 수행한다.
• 비선형 매핑 함수를 사용하여 한 모달리티의 '답변'을 다른 모달리티로 변환함으로써, 다이내믹하고 컨텍스트 인식형의 모달 간 상호작용을 가능하게 한다.
• 프롬프트 벡터를 단모달 트랜스포머의 깊은 층들(예: L-2)에만 제한함으로써, 역전파 깊이를 줄이고 기울기 메모리 사용량을 최소화한다.
• 플러그 앤 플레이 방식의 모듈러한 설계를 통해 단모달 인코더(예: BERT, T5, ViT)를 쉽게 교체 가능하며, 새로운 모달리티의 통합도 지원한다.
• 신경망 아키텍처 탐색(NAS)을 적용하여 최적의 융합 층과 프롬프트 길이를 자동으로 식별함으로써, 최소한의 초모델 조정으로 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 프롬프트 기반 방법이 전체 미세조정과 유사한 성능를 달성하면서도 훈련 메모리 사용량을 크게 줄일 수 있는가?
• RQ2 단모달 트랜스포머의 깊은 층들에만 프롬프트 업데이트를 제한할 경우, 메모리 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ3 양방향 상호작용형 프롬프트 메커니즘은 단방향 정렬을 넘어서 다중모달 이해를 향상시킬 수 있는가?
• RQ4 PMF의 모듈러한 설계는 얼마나 많은 모델 교체 유연성과 다중모달 확장성 지원을 가능하게 하는가?
• RQ5 자동 초모델 조정(예: NAS)이 다양한 시각-언어 벤치마크에서 PMF의 성능 향상에 기여하는가?

주요 결과

• PMF는 전체 미세조정 기준 기준으로 최대 66%의 훈련 메모리 사용량 감소를 기록했으며, 프롬프트 기반 방법 대비 55% 감소했고, 훈련 가능한 파라미터는 3% 미만을 사용한다.
• MM-IMDB, SNLI-VE, UPMC-Food101 세 가지 벤치마크 데이터셋에서 PMF는 경쟁력 있는 성능를 기록했으며, MM-IMDB에서는 F1-Macro 점수 61.66, SNLI-VE에서는 정확도 59.67%를 달성했다.
• 더 큰 단모달 인코더(예: BERT-large, ViT-large)를 사용할 경우에도 높은 성능를 유지했으며, 메모리 사용량은 12.84GB에서 18.44GB로 약간 증가하는 데 그쳤다.
• 프롬프트 길이 분석 결과 최적의 성능는 M=16에서 달성되었으며, 더 긴 프롬프트(M=32)는 성능 저하를 초래했지만, 메모리 비용은 M=1에서 M=16까지 약 1GB 증가에 그쳤다.
• NAS 최적화된 PMF(PMF-NAS)는 모든 세 데이터셋에서 표준 PMF보다 뛰어난 성능를 기록했으며, 자동화된 아키텍처 탐색이 초모델 구성에 있어 가치가 있음을 입증했다.
• 융합 층의 위치(L-2 등)가 메모리 사용량에 가장 큰 영향을 미치며, 프롬프트 길이는 영향이 적다. 이는 깊은 층 프롬프트가 메모리 절감에 효과적임을 확인한다.