Skip to main content
QUICK REVIEW

[논문 리뷰] LLaVA-MoLE: Sparse Mixture of LoRA Experts for Mitigating Data Conflicts in Instruction Finetuning MLLMs

Shaoxiang Chen, Zequn Jie|arXiv (Cornell University)|2024. 01. 29.
Human Pose and Action RecognitionComputer Science인용 수 6
한 줄 요약

희소한 LoRA 전문가의 혼합(MoLE)을 도입하여 혼합 도메인 지시 데이터에서 미세조정된 다중모달 LLM의 데이터 충돌을 완화하고, 유사한 비용으로 일반 LoRA보다 이득을 얻는다.

ABSTRACT

Instruction finetuning on a variety of image-text instruction data is the key to obtaining a versatile Multimodal Large Language Model (MLLM), and different configurations of the instruction data can lead to finetuned models with different capabilities. However, we have discovered that data conflicts are inevitable when mixing instruction data from distinct domains, which can result in performance drops for tasks of a specific domain. To address this issue, we propose to apply an efficient Mixture of Experts (MoE) design, which is a sparse Mixture of LoRA Experts (MoLE) for instruction finetuning MLLMs. Within the Transformer layers, we extend the popular Low-Rank Adaption (LoRA) method by creating a set of LoRA experts specifically for the MLP layer, and route each token to the top-1 expert based on a routing function, allowing adaptive choices for tokens from different domains. Since the LoRA experts are sparsely activated, the training and inference cost are kept roughly constant compared to the original LoRA method. By replacing the plain-LoRA of LLaVA-1.5 with our MoE design, our final model is named LLaVA-MoLE. Extensive experiments proved that LLaVA-MoLE effectively mitigates the data conflict issue when mixing multiple distinct instruction datasets with various configurations, and achieves consistent performance gains over the strong plain-LoRA baselines. Most importantly, on the mixed datasets, LLaVA-MoLE can even outperform the plain-LoRA baseline trained with twice the samples.

연구 동기 및 목표

  • 다양한 도메인 데이터셋을 혼합하여 지시사항으로 미세조정할 때 MLLMs에서 데이터 충돌 이슈를 식별한다.
  • 도메인별 LoRA 전문가로 토큰을 라우팅하기 위한 희소 Mixture of LoRA Experts (MoLE)를 제안한다.
  • MoLE가 충돌을 완화하고 일반 LoRA와 유사한 계산 비용을 유지함을 보여준다.
  • MoLE가 더 많은 데이터나 훈련 시간을 사용하는 경우에도 일반 LoRA 벤치마크를 능가할 수 있음을 보인다.

제안 방법

  • 트랜스포머 블록의 각 FFN 계층에 여러 LoRA 전문가를 추가하여 LoRA를 확장한다.
  • 임베딩을 기반으로 각 토큰을 하나의 전문가에 할당하는 탑 1 라우터를 사용하고, 그 전문가의 출력을 FFN에 더한다.
  • 토큰에 대해 동일한 전문가 선택을 모든 FFN 계층에서 사용하도록 단일 라우터를 공유한다.
  • 균일한 전문가 활용을 촉진하고 여유 용량을 방지하기 위해 부하 균형 손실을 도입한다.
  • 여러 데이터 구성과 벤치마크에서 희소 MoLE과 Dense MoE 및 일반 LoRA를 비교한다.
Figure 1 : Model performances on three benchmarks when trained with different data configurations. LLaVA-1.5, LLaVA-Doc, and LLaVA-Med are trained on general multi-task, document, and biomedicine datasets, respectively. While LLaVA-Mix and LLaVA-MoLE are both trained on the mixture of all three data
Figure 1 : Model performances on three benchmarks when trained with different data configurations. LLaVA-1.5, LLaVA-Doc, and LLaVA-Med are trained on general multi-task, document, and biomedicine datasets, respectively. While LLaVA-Mix and LLaVA-MoLE are both trained on the mixture of all three data

실험 결과

연구 질문

  • RQ1도메인 다양해 지시 데이터 혼합 시 MLLMs에서 LoRA 전문의 희소 MoE 라우팅이 성능 저하를 줄일 수 있는가?
  • RQ2다양한 데이터 구성에서 MoLE가 성능과 계산 효율성 측면에서 plain LoRA 및 dense MoE와 어떻게 비교되는가?
  • RQ3데이터 충돌 하에서 전문가 수와 LoRA 랭크가 MoLE 효과성에 미치는 영향은 무엇인가?
  • RQ4도메인간 데이터 샘플링 비율을 조정할 때 MoLE가 더 나은 작업별 성능을 가능하게 하는가?

주요 결과

  • 일반, 문서, 생의학 지시 데이터를 혼합할 때 MoLE은 일반 LoRA보다 일관되게 향상된다.
  • 데이터 충돌 상황에서 MoLE은 일반 LoRA와 유사한 학습 비용으로 벤치마크 성능을 유지하거나 그 이상을 달성한다.
  • MoLE은 혼합 데이터셋에서 두 배의 샘플로 학습된 Mix 벤치마크를 능가할 수 있다.
  • 전문가 수를 늘리면 어느 정도까지 성능이 향상되며, 구성에 따라 종종 5–3 전문가가 강력한 결과를 낸다.
  • 희소 MoLE은 dense MoE에 비해 비슷한 이득을 얻으면서도 GPU 메모리를 훨씬 적게 사용한다.
Figure 2 : Overall framework of our LLaVA-MoLE with Sparse Mixture of LoRA Experts. Our model is based on LLaVA-1.5, where the input image is processed by a CLIP ViT and then projected with a two-layer MLP. The input text is tokenized and embedded, and then concatenated with the visual input to feed
Figure 2 : Overall framework of our LLaVA-MoLE with Sparse Mixture of LoRA Experts. Our model is based on LLaVA-1.5, where the input image is processed by a CLIP ViT and then projected with a two-layer MLP. The input text is tokenized and embedded, and then concatenated with the visual input to feed

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.