[논문 리뷰] DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention

Zhewei Yao, Xiaoxia Wu외 7명|arXiv (Cornell University)|2023. 09. 25.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

DeepSpeed-VisualChat는 시각 및 언어 모odal 간에 효율적이고 확장 가능하며 파rameter-free attention을 가능하게 하는 새로운 다중모态 인과주의 주의(Multi-Modal Causal Attention, MMCA) 메커니즘을 사용하여 다중 라운드, 다중 이미지 대화를 위한 완전히 오픈소스 프레임워크를 제공한다. 데이터 블렌딩과 최적화된 훈련을 통해 700억 파라미터 언어 모델까지 최신 기술 수준의 확장성을 달성하며, 추가 파라미터나 훈련 비용 없이도 번갈아가며 시각적-언어적 추론에서 기존 모델들을 능가한다.

ABSTRACT

Most of the existing multi-modal models, hindered by their incapacity to adeptly manage interleaved image-and-text inputs in multi-image, multi-round dialogues, face substantial constraints in resource allocation for training and data accessibility, impacting their adaptability and scalability across varied interaction realms. To address this, we present the DeepSpeed-VisualChat framework, designed to optimize Large Language Models (LLMs) by incorporating multi-modal capabilities, with a focus on enhancing the proficiency of Large Vision and Language Models in handling interleaved inputs. Our framework is notable for (1) its open-source support for multi-round and multi-image dialogues, (2) introducing an innovative multi-modal causal attention mechanism, and (3) utilizing data blending techniques on existing datasets to assure seamless interactions in multi-round, multi-image conversations. Compared to existing frameworks, DeepSpeed-VisualChat shows superior scalability up to 70B parameter language model size, representing a significant advancement in multi-modal language models and setting a solid foundation for future explorations.

연구 동기 및 목표

• 시각-언어 모델에서 다중 라운드, 다중 이미지, 번갈아가며 입력되는 텍스트와 이미지의 대화를 위한 오픈소스이자 확장 가능한 프레임워크의 부족을 해결하기 위해.
• 기존 모델들이 번갈아가며 입력되는 데이터를 효과적으로 처리하지 못하거나 소규모 대규모 언어 모델(Large Language Models, LLMs)을 초과해 확장하지 못하는 한계를 극복하기 위해.
• 추가 모듈 없이도 강력한 다중모달 정렬을 가능하게 하는 파라미터 효율적인 주의 메커니즘을 개발하기 위해.
• 기존 데이터셋에 대한 데이터 블렌딩 기법을 통해 훈련 효율성과 모델 일반화 능력을 향상시키기 위해.
• DeepSpeed 프레임워크를 활용하여 700억 파라미터에 이르는 시각-언어 모델의 확장성을 입증하기 위해.

제안 방법

• 모드별로 독립적으로 주의를 계산하면서도 추가 파라미터 없이도 다중모달 상호작용을 가능하게 하는 모달 특화 주의 메커니즘인 다중모달 인과주의 주의(Multi-Modal Causal Attention, MMCA)를 제안한다.
• 기존 데이터셋에서 번갈아가며 입력되는 이미지-텍스트 대화를 합성하기 위해 데이터 블렌딩 기법을 활용하여 이러한 훈련 데이터의 부족 문제를 해결한다.
• ZeRO 최적화를 통해 700억 파라미터에 이르는 대규모 모델을 효율적이고 확장 가능하게 훈련할 수 있도록 DeepSpeed 프레임워크를 활용한다.
• 시각 인코더(20억 파라미터)와 LLaMa-2 언어 디코더(130억 또는 700억 파라미터)를 사용하며, 모달 융합을 위한 투영층을 적용하지만, 성능 향상이 없어 Vision Transformer 투영은 폐기하였다.
• 특히 LLaMa-2-700억 모델과 같은 대규모 모델의 성능을 최적화하기 위해 프롬프트 튜닝과 하이퍼파라미터 적응 기법을 적용한다.
• SparklesChat 데이터를 포함하거나 포함하지 않은 모델을 비교하는 분석적 연구를 수행하여 프롬프트 민감도와 환각 현상 간의 트레이드오프를 분석한다.

실험 결과

연구 질문

• RQ1 완전히 오픈소스 프레임워크가 다중 라운드, 다중 이미지 대화를 번갈아가며 입력되는 텍스트와 이미지 입력을 지원할 수 있는가?
• RQ2 제안된 다중모달 인과주의 주의(MMCA) 메커니즘이 추가 파라미터 없이도 교차주의 주의와 유사한 성능을 달성할 수 있는가?
• RQ3 데이터 블렌딩 기법이 비번갈아 입력되는 데이터셋에서 실제로 번갈아 입력되는 시각-언어 대화를 효과적으로 시뮬레이션할 수 있는가?
• RQ4 시각-언어 모델이 700억 파라미터에 이르게 확장되면서도 훈련 효율성과 성능를 유지할 수 있는가?
• RQ5 외부 데이터(예: SparklesChat)의 포함 여부가 모델의 강건성과 프롬프트 민감도에 어떤 영향을 미치는가?

주요 결과

• DeepSpeed-VisualChat는 뛰어난 확장성을 보이며, 20억 파라미터의 시각 인코더와 함께 700억 파라미터 언어 모델을 성공적으로 훈련하여 대규모 확장 가능성의 타당성을 입증한다.
• MMCA 메커니즘은 추가 파라미터 없이도 강력한 다중모달 정렬을 가능하게 하며, 표준 인과주의 주의 대비 훈련 데이터 효율성을 향상시킨다.
• SparklesChat 데이터를 통합하면 서사 생성 능력은 향상되지만 프롬프트 민감도가 증가하여 훈련 데이터에 분포 불균형이 존재할 가능성을 시사한다.
• 데이터 블렌딩을 적용한 모델은 다중 이미지, 다중 라운드 대화 작업에서 일반화 능력이 향상되었지만, 이미지 재정렬을 포함한 복잡한 블렌딩 전략에서는 성능 저하가 발생하였다.
• 130억 파라미터 모델 버전인 DeepSpeed-VisualChat-13B-Set2는 기준 모델(Set1)보다 더 높은 프롬프트 민감도를 보이며, 데이터 구성이 모델의 강건성에 상당한 영향을 미친다는 것을 시사한다.
• 130억 모델에 최적화된 하이퍼파라미터를 그대로 700억 모델에 적용한 결과 최적의 성능을 내지 못했으며, 향후 작업에서는 모델별 하이퍼파라미터 적응이 필요함을 시사한다.