[論文レビュー] Getting More Juice Out of Your Data: Hard Pair Refinement Enhances Visual-Language Models Without Extra Data

Haonan Wang, Minbin Huang+8 more|arXiv (Cornell University)|May 9, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、元の学習データからマイニングされたハードネガティブサンプルと、新しいハードネガティブマージン損失（HNML）を活用することで、CLIP や SLIP などの事前学習済みビジョン・ランゲージモデルを強化する、プラグアンドプレイな微調整手法 Helip を提案する。追加データや再学習が不要な状態で、ゼロショット ImageNet の精度を最大 10.14% 向上させ、線形プローブ精度を最大 9.5% 向上させ、複数のベンチマークで一貫した性能向上を示した。

ABSTRACT

Contrastive Language-Image Pre-training (CLIP) has become the standard for cross-modal image-text representation learning. Improving CLIP typically requires additional data and retraining with new loss functions, but these demands raise resource and time costs, limiting practical use. In this work, we introduce HELIP, a cost-effective strategy that improves CLIP models by exploiting challenging text-image pairs within existing datasets in continuous training. This eliminates the need for additional data or extensive retraining. Moreover, HELIP integrates effortlessly into current training pipelines with minimal code modifications, allowing for quick and seamless implementation. On comprehensive benchmarks, HELIP consistently boosts existing models. In particular, within just two epochs of training, it improves zero-shot classification accuracy on ImageNet for SLIP models pre-trained on CC3M, CC12M, and YFCC15M datasets by 3.05%, 4.47%, and 10.1% , respectively. In addition, on fine-grained classification datasets, HELIP improves the zero-shot performance of CLIP and SLIP by an average of 8.4% and 18.6%, and their linear probe performance by an average of 9.5% and 3.0%. The code is publicly available at: https://github.com/haonan3/HELIP-NACCL-2025.git.

研究の動機と目的

• 事前学習済みビジョン・ランゲージモデルのゼロショット性能およびリtrieval性能を、再学習からではなく、追加データを収集せずに向上させること。
• バッチサイズの制限とノイズの多いウェブクロールドデータによる、バッチ内ハードネガティブマイニングの非効率性を解消すること。
• 元の学習データのみを用いて、低コストで汎用性の高い微調整戦略を開発し、モデル性能を向上させること。
• ハードネガティブサンプルと HNML を用いた幾何的正則化が、表現品質を顕著に向上させることを検証すること。

提案手法

• Helip は、ターゲットの画像・テキストペアを全データセットに投影し、視覚的特徴（例：ResNet50）とテキスト特徴（例：BERT）の両モodal特徴で高い類似度を示すペアのサブセットを、ハードペアマイニング（HPM）によって選択する。
• 選択されたサブセットは、ターゲットペアのハードネガティブセットとして機能し、意味的に近くても陽性マッチではない高品質で挑戦的なネガティブサンプルを保証する。
• Helip は、標準的な対照的損失に加え、新しいハードネガティブマージン損失（HNML）を用いて事前学習モデルを微調整する。HNML は、ハードネガティブサンプルが埋め込み空間において通常のネガティブサンプルよりもポジティブサンプルに近くなるように制約を課す。
• HNML は、ハードネガティブサンプルへの距離が通常のネガティブサンプルへの距離を上回る場合にモデルをペナルティ化することで、幾何的構造を導入し、分離能を向上させる。
• 性能を維持しつつ、高速化を図るため、全データセットから固定サイズのサブセット（例：300万または600万）をサンプリングする近似 HPM のバリエーションを採用する。
• このフレームワークは、モデルアーキテクチャの変更なしに、元の学習データでの微調整のみで実装可能なプラグアンドプレイ方式を採用している。

実験結果

リサーチクエスチョン

• RQ1 元の学習データからマイニングされたハードネガティブサンプルは、追加データなしに、事前学習済みビジョン・ランゲージモデルのゼロショット性能を顕著に向上させることができるか？
• RQ2 通常のネガティブサンプルとハードネガティブサンプルを区別するマージンベースの損失を組み込むことで、より良い表現学習が達成できるか？
• RQ3 微調整の前段階でグローバルにハードペアをマイニングする二段階アプローチは、バッチ内マイニングに比べてどれほど効果的か？
• RQ4 提案手法は、CLIP や SLIP、DECLIP などの異なる事前学習モデルや、CC3M や CC12M、YFCC15M などの異なるデータセットに一般化可能か？
• RQ5 近似 HPM 戦略は、大規模データセットへのスケーラビリティを確保しつつ、性能を維持できるか？

主な発見

• CC3M で事前学習された SLIP モデルに対して、Helip はゼロショット ImageNet の精度を 3.05 パcentage points 向上させ、CC12M で学習したモデルでは 4.47 パcentage points 向上させた。
• CC3M で事前学習された場合、Helip は 7 つの細分化分類ベンチマークで CLIP と SLIP の平均ゼロショット精度をそれぞれ 8.4% と 18.6% 向上させた。
• 線形プローブの評価では、CC3M で事前学習された CLIP と SLIP の平均精度が、それぞれ 9.5% と 3.0% 向上した。
• 600万のサブセットを用いた近似 HPM のバリエーションは、完全な HPM 法と比較してゼロショット性能が 0.6% 以内に収まり、スケーラビリティと効率性を実証した。
• HNML 損失は、クラスの粒度が細かいデータセット（例：ImageNet や CIFAR-100）では性能向上をもたらしたが、CIFAR-10 ではわずかに性能を低下させた。これは、分離能のトレードオフを示唆している。
• 可視化により、近似 HPM がターゲットと意味的に近く、品質の高いハードサンプルを選択していることが確認され、マイニングされたネガティブサンプルの質を裏付けた。