[論文レビュー] MIM-Refiner: A Contrastive Learning Boost from Intermediate Pre-Trained Representations

Benedikt Alkin, Lukas Miklautz+2 more|arXiv (Cornell University)|Feb 15, 2024

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

MIM-Refinerは、高品質なエンコーダーブロックに接続された複数の対照学習ヘッドを用いて、事前学習済みマスク画像モデリング（MIM）モデルの中間表現を精錬することで、ImageNet-1Kで最先端の性能を達成する。この短時間で効果的な精錬により、線形プローブ精度が84.7%、1ショット分類精度が64.2%に向上し、はるかに多くのデータで学習されたより大きなモデルを上回る。

ABSTRACT

We introduce MIM (Masked Image Modeling)-Refiner, a contrastive learning boost for pre-trained MIM models. MIM-Refiner is motivated by the insight that strong representations within MIM models generally reside in intermediate layers. Accordingly, MIM-Refiner leverages multiple contrastive heads that are connected to different intermediate layers. In each head, a modified nearest neighbor objective constructs semantic clusters that capture semantic information which improves performance on downstream tasks, including off-the-shelf and fine-tuning settings. The refinement process is short and simple - yet highly effective. Within a few epochs, we refine the features of MIM models from subpar to state-of-the-art, off-the-shelf features. Refining a ViT-H, pre-trained with data2vec 2.0 on ImageNet-1K, sets a new state-of-the-art in linear probing (84.7%) and low-shot classification among models that are pre-trained on ImageNet-1K. MIM-Refiner efficiently combines the advantages of MIM and ID objectives and compares favorably against previous state-of-the-art SSL models on a variety of benchmarks such as low-shot classification, long-tailed classification, clustering and semantic segmentation.

研究の動機と目的

• 事前学習が強くても、特に低データ環境下で下流タスクの性能が低いMIMモデルの問題を解決すること。
• デコーダーの制限により、MIMモデルの表現品質が最終層ではなく中間エンコーダーブロックでピークに達することを特定すること。
• 再訓練を一切行わずに、元のモデルを再利用して特徴を意味的クラスタに精錬する軽量で効率的な手法を開発すること。
• 線形プローブ、クラスタリング、少数-shot分類などの下流タスクにおけるMIM特徴の一般化性と転送可能性を向上させること。
• ImageNet-1Kでdata2vec 2.0で事前学習されたViT-Hモデルを、2000倍以上多くのデータで学習されたより大きなモデルを上回る性能に精錬すること。

提案手法

• MIM-Refinerは、MIMエンコーダーの中間ブロックに複数の対照学習ヘッドを接続し、特に表現品質が最も高いブロックに焦点を当てる。
• 各対照的ヘッドは、各サンプルをバッチ内での最近傍ネイバーと一致させ、他のすべてのサンプルを遠ざける修正された最近傍アライメント（NNA）目的関数を適用する。
• NNA目的関数は、最近傍選択による陽性ペアの集中をもとに信号品質を向上させ、負例同士を遠ざけるのではなく、陽例同士を近づけることで効果を発揮する。
• 精錬プロセスは逐次的かつ短時間で、事前学習で使用された同じImageNet-1Kデータ上で数エポック程度の訓練で実現可能である。
• バッチ正規化層は、訓練の安定化と性能の低下防止の観点から、対照的ヘッドにおいて不可欠である。
• この手法は元のMIMモデルの重みを保持し、対照的ヘッドと正規化層のみをファインチューニングする。

Figure 1 : Linear probing state-of-the-art on ImageNet-1K over the last four years.

実験結果

リサーチクエスチョン

• RQ1 なぜMIMモデルは強力な事前学習を経ていても、特にショット数が少ない状況下で下流タスクで性能が低いのか？
• RQ2 MIMエンコーダーのどこに意味的に意味のある表現が集約されており、どのように活用できるか？
• RQ3 再訓練を一切行わず、モデル全体を再学習しない軽量で短時間の精錬プロセスがMIM特徴を著しく向上させられるか？
• RQ4 最終層での単一ヘッド対照学習と比較して、中間層に複数の対照的ヘッドを適用することで性能が向上するか？
• RQ5 精錬されたMIMモデルは、はるかに多くのデータで学習されたより大きなモデルを、極めて少ないショットの状況下で上回れるか？

主な発見

• MIM-Refinerは、data2vec 2.0で事前学習されたViT-Hモデルを用いて、ImageNet-1Kで84.7%の新しい最先端線形プローブ精度を達成した。
• 1ショットImageNet-1K分類において64.2%の新しい最先端精度を達成し、DINOv2-g、OpenCLIP-G、MAWS-6.5Bといった、最大で2000倍以上のデータで学習されたより大きなモデルを上回った。
• 精錬済みモデルはk-NN精度82.3%、k-meansクラスタリング精度67.3%を達成し、潜在空間における強い意味的クラスタリングを示した。
• 精錬プロセスは非常に効率的で、劣悪な品質の特徴を最先端品質に引き上げるまでに数エポックで十分であった。
• 100%のラベルを用いてファインチューニングした場合、精錬済みモデルは元のモデルをわずかに上回り、高データ環境下でも性能劣化がないことを確認した。
• ADE20K や VTAB などの他のデータセットへの転送においても、強力な一般化性能を示し、MAE-Refinedは高いmIoUとベンチマーク全体での平均順位を達成した。