[論文レビュー] Contrastive Language-Image Pre-training for the Italian Language

Federico Bianchi, Giuseppe Attanasio+4 more|arXiv (Cornell University)|Aug 19, 2021

Linguistic Studies and Language Acquisition参考文献 15被引用数 21

ひとこと要約

本稿では、140万枚の画像・テキストペアを用いて、イタリア語固有にファインチューニングされた、最初の対照的言語・画像事前学習モデルであるCLIP-Italianを提示する。事前に学習された視覚およびテキストエンコーダーを言語固有のファインチューニングで適応させることで訓練されたCLIP-Italianは、限られたデータと計算リソースにもかかわらず、ゼロショット画像分類および画像検索タスクにおいて、多言語対応CLIPモデルを上回る性能を示した。

ABSTRACT

CLIP (Contrastive Language-Image Pre-training) is a very recent multi-modal model that jointly learns representations of images and texts. The model is trained on a massive amount of English data and shows impressive performance on zero-shot classification tasks. Training the same model on a different language is not trivial, since data in other languages might be not enough and the model needs high-quality translations of the texts to guarantee a good performance. In this paper, we present the first CLIP model for the Italian Language (CLIP-Italian), trained on more than 1.4 million image-text pairs. Results show that CLIP-Italian outperforms the multilingual CLIP model on the tasks of image retrieval and zero-shot classification.

研究の動機と目的

• イタリア語向けに高精度な言語固有の対照的言語・画像事前学習モデルを開発すること。
• 単語言語モデルと多言語CLIPモデルの間の性能格差を解消するために、専用のイタリア語バージョンを構築すること。
• 140万枚の画像・キャプションペアを含む、イタリア語向けの最大規模の公開可能なマルチモーダルデータセットを構築・公開すること。
• 言語固有のCLIPモデルが、下流タスクにおいて多言語対応モデルを上回ることを実証すること。
• 研究コミュニティに透明性があり、アクセス可能で再現可能なモデルとデモを提供すること。

提案手法

• 140万枚のイタリア語画像・テキストペアから構成される、キュレートされた多言語データセットを用いて、視覚およびテキストエンコーダーを適応させることで、事前学習済みCLIPアーキテクチャをファインチューニングする。
• 4つのデータソースからの統合：WIT（Wikipediaベース）、MSCOCO-IT（翻訳済みMSCOCO）、Conceptual Captions、および新規に作成したイタリア語特化のウェブクローリングデータセット。
• 標準化されたテンプレート「{キャプション}の写真」を用いたプロンプト工学により、ゼロショット分類のための一貫性のあるテキスト入力を保証する。
• 画像とテキスト埋め込みを共通の512次元空間に一致させる対照的損失を用いてモデルを訓練する。
• Hugging FaceとGoogle Cloud TPUsを活用して訓練を行い、モデル重みと推論デモを公開する。
• ゼロショット画像分類（ImageNet-1000）および画像検索（Unsplash25K）のベンチマークで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされた言語固有のCLIPモデルは、イタリア語のゼロショット画像分類および検索タスクにおいて、多言語CLIPモデルを上回ることができるか？
• RQ2 140万枚のイタリア語画像・テキストペアで訓練されたCLIPモデルの性能は、オリジナルの英語CLIPおよび多言語CLIPと比べてどの程度か？
• RQ3 ファインチューニングされたCLIPモデルは、イタリア語における複雑または曖昧な視覚的記述を理解する際に、どのような制限やバイアスを示すか？
• RQ4 英語以外の低リソース言語であるイタリア語において、プロンプト工学がゼロショット分類の正確性にどの程度影響を与えるか？
• RQ5 大規模な英語データセットで訓練されたモデルと比較して、限定的で英語以外のデータで訓練されたモデルは、競争力のある性能を達成できるか？

主な発見

• CLIP-Italianは、ImageNet-1000におけるトップ1ゼロショット画像分類で22.11%の精度を達成し、多言語CLIP（20.15%）を上回った。
• 同じベンチマークにおいて、CLIP-Italianはトップ5で43.69%の精度を記録したのに対し、mCLIPは36.75%であった。
• Unsplash25Kデータセットにおける画像検索では、'due cani sulla neve'（雪の上の2匹の犬）のようなクエリに対して、関連する画像を正しく検索することができ、効果的な意味的および視覚的根拠付けを示した。
• モデルは中程度の数的推論能力を示し、シーンに3つの異なるまたは繰り返し現れる物体を正しく特定できたが、3つを超えると性能が著しく低下した。
• 定性的な分析から、モデルのバイアスが明らかになった。例えば、'un topolino'（小さなネズミ）を小さなハリネズミと関連付ける傾向があり、学習されたステレオタイプやデータバイアスが示された。
• オリジナルのCLIP（4億枚）と比較して、140万枚のペアでのみ学習したにもかかわらず、CLIP-Italianはイタリア語分野で最先端の性能を達成した。これは、言語固有のファインチューニングが非常に効率的かつ効果的であることを示唆している。