[논문 리뷰] AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities

Zhongzhi Chen, Guang Liu외 4명|arXiv (Cornell University)|2022. 11. 12.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 CLIP의 능력을 이중어(영어/중국어) 및 다국어 다중모달 표현 학습으로 확장하기 위해 텍스트 인코더를 XLM-R로 대체하고, 제한된 텍스트-이미지 쌍에서 지식 정복을 수행한 후 대비 학습을 수행하는 이단계 방법인 AltCLIP을 제안한다. 이 방법은 최소한의 데이터 및 계산 비용으로 중국어에서 여러 영역의 제로샷 이미지 분류 및 검색 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 영어 작업에서의 강력한 성능도 유지한다.

ABSTRACT

In this work, we present a conceptually simple and effective method to train a strong bilingual/multilingual multimodal representation model. Starting from the pre-trained multimodal representation model CLIP released by OpenAI, we altered its text encoder with a pre-trained multilingual text encoder XLM-R, and aligned both languages and image representations by a two-stage training schema consisting of teacher learning and contrastive learning. We validate our method through evaluations of a wide range of tasks. We set new state-of-the-art performances on a bunch of tasks including ImageNet-CN, Flicker30k-CN, COCO-CN and XTD. Further, we obtain very close performances with CLIP on almost all tasks, suggesting that one can simply alter the text encoder in CLIP for extended capabilities such as multilingual understanding. Our models and code are available at https://github.com/FlagAI-Open/FlagAI.

연구 동기 및 목표

• 거대한 다국어 텍스트-이미지 쌍이 필요 없이 CLIP의 제로샷 일반화 능력을 다국어 및 이중어 환경으로 확장하기 위해.
• 영어 외 언어(예: 중국어)의 자원이 제한된 환경에서 비전-언어 작업의 교차 언어 전이 성능을 향상시키기 위해.
• 중국어 및 기타 언어 지원을 추가하면서도 영어 벤치마크에서의 강력한 성능을 유지하기 위해.
• 다국어 다중모달 사전학습에 지식 정복과 대비 미세조정을 조합하는 것이 효과적인지 조사하기 위해.
• 고품질의 인간이 작성한 번역문이 자원이 제한된 언어에서 제로샷 성능을 향상시키는 데 기여하는지 탐구하기 위해.

제안 방법

• CLIP의 원래 텍스트 인코더를 다양한 언어에서 사전학습된 다국어 언어 모델인 XLM-R로 대체하기 위해.
• 이단계 학습 프레임워크를 사용하기 위해: 첫 번째 단계로, 단일 언어 및 병렬 언어 데이터(영어-영어 및 영어-중국어 쌍 포함)를 사용하여 CLIP의 텍스트 인코더에서 새로운 XLM-R 기반 인코더로 지식 정복을 수행한다.
• 두 번째 단계로, 정제된 영어 및 중국어 텍스트-이미지 쌍의 소량을 사용하여 대비 학습을 통해 시각 및 언어 표현을 정렬한다.
• 표현 품질 향상을 위해 정복 단계에서 기계 번역된 병렬 데이터와 인간이 정제한 병렬 데이터를 모두 통합한다.
• 동일한 이단계 방법을 사용하여 9개 언어를 지원하는 다국어 버전인 AltCLIP M9를 훈련한다.
• AltCLIP의 텍스트 인코더를 사용하여 텍스트-이미지 생성 모델(Stable Diffusion)을 미세조정하여 생성에서의 교차 언어 정렬을 평가한다.

실험 결과

연구 질문

• RQ1 CLIP의 텍스트 인코더에서 XLM-R 같은 다국어 인코더로 지식 정복을 수행할 경우, 자원이 제한된 언어(예: 중국어)로 비전-언어 이해를 효과적으로 전이할 수 있는가?
• RQ2 정복 단계에서 기계 번역된 병렬 데이터와 인간이 정제한 병렬 데이터를 함께 사용할 경우, 중국어 벤치마크에서 제로샷 성능이 유의미하게 향상되는가?
• RQ3 이단계 학습(정복 + 대비 미세조정)이 다국어 검색 및 이미지 분류 작업 성능 향상에 얼마나 기여하는가?
• RQ4 텍스트 토큰 수가 수천만 개, 텍스트-이미지 쌍이 200만 개에 불과한 모델이 수억 개의 쌍으로 훈련된 모델을 초월해 중국어 비전-언어 작업에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 AltCLIP M9와 같은 다국어 텍스트 인코더를 사용할 경우, 다국어 프롬프트의 문화적 뉘앙스가 이미지 생성에 어떤 영향을 미치는가?

주요 결과

• AltCLIP는 200만 개의 텍스트-이미지 쌍과 수천만 개의 텍스트 토큰만을 사용함에도 불구하고 ImageNet-CN, Flicker30k-CN, COCO-CN, XTD에서 기존 방법들을 뛰어넘는 최신 기술 수준의 제로샷 성능을 달성한다.
• ImageNet에서 53.8%의 제로샷 정확도를 기록하여 CLIP의 55.7%에 매우 가까운 성능을 유지함으로써, 다국어 적응 후에도 영어 능력이 잘 유지됨을 보여준다.
• 정복 단계에서 영어-영어 병렬 데이터를 제외할 경우 ImageNet-영어 정확도가 15.47%로 떨어지며, 이는 교차 언어 정렬 유지에 있어 영어-영어 데이터의 중요성을 강조한다.
• 정복 단계에서 인간이 정제한 번역문을 포함시킬 경우 ImageNet-CN 정확도가 유의미하게 향상되며, 이는 데이터 품질과 다양성이 표현 학습에 기여함을 시사한다.
• AltCLIP의 텍스트 인코더를 사용해 미세조정한 AltDiffusion은 영어 및 중국어 프롬프트 모두에서 고품질의 이미지를 생성하며, 번역된 프롬프트에 대해 유사한 출력을 생성함으로써 효과적인 교차 언어 정렬을 보여준다.
• AltCLIP M9는 다국어 XTD 벤치마크에서 최신 기술 수준의 제로샷 결과를 달성하여 9개 언어 간의 강력한 일반화 능력을 입증한다.