[논문 리뷰] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
SigLIP 2는 디코더 기반 사전학습, 자체 감독 손실, 데이터 선별을 융합한 다국어 비전-언어 인코더 계열을 도입하여 다국어 VLM 성능, 조밀한 특징, 로컬라이제이션를 향상시키고, Native aspect ratio 및 다중 해상도용 NaFlex 변형을 제공합니다.
We introduce SigLIP 2, a family of new multilingual vision-language encoders that build on the success of the original SigLIP. In this second iteration, we extend the original image-text training objective with several prior, independently developed techniques into a unified recipe -- this includes captioning-based pretraining, self-supervised losses (self-distillation, masked prediction) and online data curation. With these changes, SigLIP 2 models outperform their SigLIP counterparts at all model scales in core capabilities, including zero-shot classification, image-text retrieval, and transfer performance when extracting visual representations for Vision-Language Models (VLMs). Furthermore, the new training recipe leads to significant improvements on localization and dense prediction tasks. We also train variants which support multiple resolutions and preserve the input's native aspect ratio. Finally, we train on a more diverse data-mixture that includes de-biasing techniques, leading to much better multilingual understanding and improved fairness. To allow users to trade off inference cost with performance, we release model checkpoints at four sizes: ViT-B (86M), L (303M), So400m (400M), and g (1B).
연구 동기 및 목표
- 영어 중심 모델을 넘어 다국어 비전-언어 이해를 자극한다.
- 세분화 및 탐지 작업을 위한 로컬라이제이션 및 조밀한 특징 품질을 향상시킨다.
- SigLIP의 다국어 데이터 및 더 강력한 훈련 레시피로의 역호환성 있는 확장을 생성한다.
- 네이티브 어스펙 비율 및 가변 해상도(NaFlex)를 지원하는 변형을 제공한다.
- 다국어 능력을 유지하면서 distillation 및 능동 데이터 큐레이션을 통한 소형 모델 효율성을 가능하게 한다.
제안 방법
- LocCa와 유사한 목표를 통해 디코더 기반 사전학습(캡션 생성 및 그라운딩)을 SigLIP와 결합한다.
- 로컬 문맥 이해를 향상시키기 위해 자체 증류 및 마스킹 예측(SILC/TIPS-영감)을 도입한다.
- 데이터 큐레이션 및 다국어 영어/비영어 혼합의 균형 잡힌 단계적 훈련 레시피를 활용한다.
- 해상도 의식적 훈련과 함께 네이티브 어스펙 비율 및 가변 해상도 처리를 위한 NaFlex를 도입한다.
- ACID를 통한 능동 데이터 큐레이션으로 소형 모델 성능을 향상시킨다.
실험 결과
연구 질문
- RQ1다국어 개방 가중치 비전-언어 인코더가 언어 전반에서 state-of-the-art 제로샷 및 회수 성능을 달성할 수 있는가?
- RQ2디코더 기반 사전학습과 자체 감독 로컬-글로벌 손실이 조밀한 예측 및 로컬라이제이션 작업을 향상시키는가?
- RQ3편향 제거를 통한 다국어 학습이 공정성과 언어 간 이해를 향상시키면서 영어 성능 손실을 초래하지 않는가?
- RQ4단일 모델 변형이 여러 해상도를 지원하고 네이티브 어스펙 비율을 효과적으로 보존할 수 있는가(NaFlex)?
- RQ5능동 데이터 큐레이션을 통한 증류가 소형 모델 크기에 어떤 영향을 미치는가?
주요 결과
- SigLIP 2는 제로샷 분류 및 여러 언어에서의 회수에서 SigLIP 및 다수의 오픈 가중치 기준선을 능가한다.
- 디코더 기반 사전학습 및 자체 감독 손실이 로컬라이제이션 및 조밀한 예측 성능을 개선한다.
- NaFlex 변형은 여러 해상도를 효과적으로 처리하고 네이티브 어스펙 비율을 보존하며 OCR/문서 중심 벤치마크에서 강력한 회수를 제공한다.
- 다국어 학습의 데이터 편향 제거는 SigLIP에 비해 다국어 이해 및 공정성을 향상시키며 표현 편향을 줄인다.
- 소형 모델 증류(ACID)는 B/16 및 B/32 모델의 성능을 향상시킨다.
- SigLIP 2는 VLM용 비전 인코더로서 효과적이며 다양한 작업에서 하류 전이 성능을 개선한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.