[논문 리뷰] Contrastive Language-Image Pre-training for the Italian Language

Federico Bianchi, Giuseppe Attanasio외 4명|arXiv (Cornell University)|2021. 08. 19.

Linguistic Studies and Language Acquisition참고 문헌 15인용 수 21

한 줄 요약

이 논문은 140만 개의 이미지-텍스트 쌍을 사용하여 이탈리아어 전용으로 최적화된 대비적 언어-이미지 사전학습 모델인 CLIP-Italian를 제시한다. 기존의 시각 및 텍스트 인코더를 언어 특화 미세조정을 통해 적응시켜 훈련한 CLIP-Italian는 제로샷 이미지 분류 및 이미지 검색 작업에서 다국어 CLIP 모델을 능가하며, 제한된 데이터와 계산 자원에도 불구하고 뛰어난 성능을 보여준다.

ABSTRACT

CLIP (Contrastive Language-Image Pre-training) is a very recent multi-modal model that jointly learns representations of images and texts. The model is trained on a massive amount of English data and shows impressive performance on zero-shot classification tasks. Training the same model on a different language is not trivial, since data in other languages might be not enough and the model needs high-quality translations of the texts to guarantee a good performance. In this paper, we present the first CLIP model for the Italian Language (CLIP-Italian), trained on more than 1.4 million image-text pairs. Results show that CLIP-Italian outperforms the multilingual CLIP model on the tasks of image retrieval and zero-shot classification.

연구 동기 및 목표

• 이탈리아어를 위한 고성능 언어 특화 대비적 언어-이미지 사전학습 모델을 개발하기 위해.
• 단일 언어 모델과 다국어 CLIP 모델 간의 성능 격차를 해소하기 위해 전용 이탈리아어 버전을 개발하기 위해.
• 140만 개의 이탈리아어 이미지-캡션 쌍을 포함하는, 공개 가능한 가장 큰 다중 모odal 데이터셋을 구축하고 배포하기 위해.
• 언어 특화 CLIP 모델이 최종 작업에서 다국어 대비 모델을 능가할 수 있음을 입증하기 위해.
• 연구 커뮤니티에 투명하고 접근 가능하며 재현 가능한 모델과 데모를 제공하기 위해.

제안 방법

• 140만 개의 이탈리아어 이미지-텍스트 쌍으로 구성된 정제된 다국어 데이터셋을 사용하여 사전 훈련된 CLIP 아키텍처를 비디오 및 텍스트 인코더에 맞추어 미세조정하는 방식.
• 네 가지 출처에서 데이터를 통합: WIT(Wikipedia 기반), MSCOCO-IT(MSCOCO 번역), Conceptual Captions, 그리고 새로운 이탈리아어 전용 웹 크롤링 데이터셋.
• 제로샷 분류를 위한 일관된 텍스트 입력을 확보하기 위해 표준 템플릿인 'A photo of {caption}'을 사용한 프롬프트 엔지니어링 적용.
• 공유된 512차원 공간에서 이미지 및 텍스트 임베딩을 정렬하는 대비 손실을 사용하여 모델 훈련.
• 훈련을 위해 Hugging Face와 Google Cloud TPUs를 활용하였으며, 모델 가중치와 추론 데모를 공개적으로 배포.
• 제로샷 이미지 분류(ImageNet-1000) 및 이미지 검색(Unsplash25K) 벤치마크에서 성능 평가.

실험 결과

연구 질문

• RQ1 미세조정된 언어 특화 CLIP 모델이 이탈리아어 제로샷 이미지 분류 및 검색 작업에서 다국어 CLIP 모델을 능가할 수 있는가?
• RQ2 140만 개의 이탈리아어 이미지-텍스트 쌍으로 훈련된 CLIP 모델의 성능은 원본 영어 CLIP 및 다국어 CLIP와 비교해 어떻게 되는가?
• RQ3 미세조정된 CLIP 모델은 이탈리아어에서 복잡하거나 모호한 시각적 기술에 대해 어떤 한계와 편향을 보이는가?
• RQ4 이슬람어와 같은 자원이 적은 언어에서, 프롬프트 엔지니어링이 제로샷 분류 정확도에 얼마나 큰 영향을 미치는가?
• RQ5 거대한 영어 데이터셋으로 훈련된 모델에 비해, 제한된 비영어 데이터로 훈련된 모델가 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• CLIP-Italian는 ImageNet-1000에서 제로샷 이미지 분류의 상위 1 정확도로 22.11%를 기록하여 다국어 CLIP(20.15%)를 능가했다.
• 동일한 벤치마크에서 CLIP-Italian는 상위 5 정확도로 43.69%를 기록했으며, mCLIP는 36.75%를 기록했다.
• Unsplash25K 데이터셋에서의 이미지 검색 작업에서, 'due cani sulla neve'(积雪上的两只狗)와 같은 쿼리에 대해 관련 이미지를 정확히 검색하여 효과적인 의미적 및 시각적 기반을 확보했다.
• 모델는 중간 정도의 수치적 추론 능력을 보였으며, 장면 내에서 최대 세 개의 별개 또는 반복된 객체를 정확히 식별했지만, 세 개를 초과하는 요소에서는 성능이 크게 떨어졌다.
• 정성적 분석을 통해 모델의 편향이 드러났으며, 'un topolino'(작은 쥐)를 작은 고슴도치와 연관지어 식별하는 등, 학습된 스테레오타입이나 데이터 편향이 반영된 것으로 나타났다.
• 원본 CLIP가 4억 개의 데이터를 사용한 것에 비해, CLIP-Italian는 오직 140만 개의 쌍으로만 훈련되었음에도 불구하고 이탈리아어 분야에서 최고 성능을 달성하여 언어 특화 미세조정의 높은 효율성과 효과성을 입증했다.