[논문 리뷰] Pixtral 12B

P. C. Agrawal, Szymon Antoniak외 40명|arXiv (Cornell University)|2024. 10. 09.

Transport Systems and Technology인용 수 4

한 줄 요약

Pixtral 12B는 120억 파라미터를 가진 다중모态 언어 모델로, 텍스트 및 비전 작업에서 뛰어난 성능을 발휘한다. 이 모델은 원천에서 훈련된 새로운 비전 인코더를 사용하여 원본 해상도와 종횡비 그대로 이미지를 처리한다. 이는 Llama-3.2 90B와 같은 더 큰 오픈 소스 모델과 Claude-3 Haiku와 같은 폐쇄 소스 모델을 압도하는 다중모달 벤치마크 성능을 기록하며, 동시에 텍스트 전용 성능도 뛰어나다. Apache 2.0 라이선스 하에 배포되며, 표준화된 평가 프로토콜을 제공한다.

ABSTRACT

We introduce Pixtral-12B, a 12--billion-parameter multimodal language model. Pixtral-12B is trained to understand both natural images and documents, achieving leading performance on various multimodal benchmarks, surpassing a number of larger models. Unlike many open-source models, Pixtral is also a cutting-edge text model for its size, and does not compromise on natural language performance to excel in multimodal tasks. Pixtral uses a new vision encoder trained from scratch, which allows it to ingest images at their natural resolution and aspect ratio. This gives users flexibility on the number of tokens used to process an image. Pixtral is also able to process any number of images in its long context window of 128K tokens. Pixtral 12B substanially outperforms other open models of similar sizes (Llama-3.2 11B \& Qwen-2-VL 7B). It also outperforms much larger open models like Llama-3.2 90B while being 7x smaller. We further contribute an open-source benchmark, MM-MT-Bench, for evaluating vision-language models in practical scenarios, and provide detailed analysis and code for standardized evaluation protocols for multimodal LLMs. Pixtral-12B is released under Apache 2.0 license.

연구 동기 및 목표

• 텍스트 전용 능력도 유지하면서 다중모달 추론에서 뛰어난 성능을 내는 오픈소스 다중모달 언어 모델을 개발하는 것.
• 원천에서 훈련된 비전 인코더를 통해 다양한 해상도와 종횡비의 이미지를 유연하게 처리할 수 있도록 하는 것.
• 평가 프로토콜의 일관성 문제를 해결하기 위해 프롬프트와 메트릭스를 표준화하여 형식 불일치로 인한 편향을 줄이는 것.
• 실제 애플리케이션에서의 어시스턴트 사용을 반영하는 실용적인 다중턴, 다중모달 벤치마크(MM-MT-Bench)를 만드는 것.
• 재현 가능하고 표준화된 프로토콜을 갖춘 프로덕션 수준의 오픈소스 모델을 배포하는 것.

제안 방법

• 변형된 RoPE-2D 위치 인코딩을 사용하여 다양한 이미지 크기와 종횡비를 지원하는 새로운 비전 인코더인 Pixtral-ViT를 원천에서 훈련하는 것.
• 비전 인코더에서 시퀀스 팩킹과 효율적인 배치 처리를 가능하게 하기 위해 블록 대각형 어텐션 마스크를 사용하는 것.
• 고수준의 다중모달 추론과 지시 따라하기 능력을 위해 120억 파라미터의 Mistral Nemo 기반 디코더를 사용하는 것.
• 형식 불일치로 인한 평가 편향을 줄이기 위해 정의된 답변 형식을 명시하는 '명시적' 프롬프트를 설계하는 것.
• 정확한 일치 메트릭스에 의한 페널티를 방지하기 위해 평가 메트릭스에 대한 융통성 있는 파싱 기법을 도입하는 것.
• 장문의 다중턴, 지시 따라하기 시나리오에서 다중모달 모델을 평가하기 위한 MM-MT-Bench 벤치마크를 제작하고 오픈소스로 공개하는 것.

Figure 1 : Pixtral Performance. Pixtral outperforms all open-models within its weight class on multimodal tasks by a substantial margin. Left: Performance on MM-MT-Bench, a new multimodal, multiturn, instruction following benchmark designed to reflect real world usage of multimodal language models.

실험 결과

연구 질문

• RQ1 120억 파라미터 다중모달 모델이 텍스트 전용 능력을 희생시키지 않고도 텍스트 및 비전 작업에서 최고 수준의 성능을 달성할 수 있는가?
• RQ2 고정 해상도 방법과 비교해 원본 해상도와 종횡비로 이미지를 처리할 경우 다중모달 추론 성능에 어떤 영향을 미치는가?
• RQ3 평가 프롬프트와 정확한 일치 메트릭스의 불일치가 다중모달 모델 간 성능 비교에 얼마나 큰 왜곡을 초래하는가?
• RQ4 표준 다중선택 또는 단답형 벤치마크와 비교해, 다중턴, 지시 따라하기 시나리오를 반영한 MM-MT-Bench와 같은 벤치마크는 실제 활용도를 더 잘 반영하는가?
• RQ5 명시적 프롬프트와 융통성 있는 파싱을 포함한 표준화된 평가 프로토콜이 다중모달 모델 평가의 공정성과 재현 가능성을 얼마나 향상시킬 수 있는가?

주요 결과

• Pixtral 12B는 MMMU와 MathVista와 같은 다중모달 벤치마크에서 Llama-3.2 11B와 Qwen2-VL 7B를 앞서며, MATH와 HumanEval와 같은 텍스트 전용 작업에서도 성능을 유사하거나 초월한다.
• Pixtral 12B는 훨씬 더 큰 Llama-3.2 90B 모델을 다중모달 벤치마크에서 앞서며, 뛀난 파라미터 효율성을 입증한다.
• LMSys Vision 리더보드에서 Pixtral 12B는 Claude-3 Opus와 Claude-3 Sonnet과 같은 여러 폐쇄 소스 모델보다 높은 순위를 기록하며, Apache 2.0 라이선스 모델 중 최고 순위를 기록한다.
• 고해상도로 이미지를 처리할 경우 복잡한 차트 및 문서 이해 작업에서 CLIPA 기반 모델(고정 또는 타일 기반 해상도 사용)을 능가하는 뛀난 성능을 기록한다.
• MM-MT-Bench에서의 성능은 LMSys Vision 리더보드에서의 인간 선호도 순위와 높은 상관관계를 보이며, 실용적 관련성을 검증한다.
• 명시적 프롬프트와 융통성 있는 파싱 기법의 사용은 평가의 공정성과 일관성을 크게 향상시키며, 형식 불일치로 인한 성능 격차를 줄인다.

Figure 2 : Pixtral Vision Encoder. Pixtral uses a new vision encoder, which is trained from scratch to natively support variable image sizes and aspect ratios. Block-diagonal attention masks enable sequence packing for batching, while RoPE-2D encodings facilitate variable image sizes. Note that the