[論文レビュー] Elastic Weight Consolidation Improves the Robustness of Self-Supervised Learning Methods under Transfer

Andrius Ovsianas, Jason Ramapuram+3 more|arXiv (Cornell University)|Oct 28, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、自己教師あり学習（SSL）の微調整における分布シフトに対する頑健性を向上させるために、エラスティック・ウェイト・コンソリデーション（EWC）とフィッシャー情報行列（FIM）を組み合わせることを提案する。微調整モデルを初期のSSL表現に近づけることで、ViT-B/16を用いた場合、Waterbirdsでは5%、Celeb-Aでは2%のWorst-Group Accuracy（WGA）の向上を達成した。DINOで事前学習されたモデル用に、公開されたFIMを提供している。

ABSTRACT

Self-supervised representation learning (SSL) methods provide an effective label-free initial condition for fine-tuning downstream tasks. However, in numerous realistic scenarios, the downstream task might be biased with respect to the target label distribution. This in turn moves the learned fine-tuned model posterior away from the initial (label) bias-free self-supervised model posterior. In this work, we re-interpret SSL fine-tuning under the lens of Bayesian continual learning and consider regularization through the Elastic Weight Consolidation (EWC) framework. We demonstrate that self-regularization against an initial SSL backbone improves worst sub-group performance in Waterbirds by 5% and Celeb-A by 2% when using the ViT-B/16 architecture. Furthermore, to help simplify the use of EWC with SSL, we pre-compute and publicly release the Fisher Information Matrix (FIM), evaluated with 10,000 ImageNet-1K variates evaluated on large modern SSL architectures including ViT-B/16 and ResNet50 trained with DINO.

研究の動機と目的

• 偏った下流データ分布に起因する、微調整モデルがラベルに依存しないSSL表現から逸脱する問題に対処すること。
• 初期SSLパラメータに微調整モデルを正則化することで、特に代表されにくいサブグループの下流タスクにおける頑健性を向上させること。
• ベイジアン継続的学習の原則（特にEWC）をSSL微調整に適用し、事前学習と微調整を逐次学習タスクとして扱うこと。
• ビジョントランスフォーマー（例：ViT-B/16）におけるFIMの悪条件性を解消し、SSL性能の完全回復を可能にすること。
• DINOで学習された最新のSSLアーキテクチャ（例：ViT-B/16およびResNet50）用に、FIMを事前計算し公開することで、FIM正則化の実用的利用を可能にすること。

提案手法

• 本手法は、フィッシャー情報行列（FIM）を用いてパラメータ正則化重みを計算することで、SSLモデルの微調整にエラスティック・ウェイト・コンソリデーション（EWC）を適用する。
• FIMは、10,000枚のImageNet-1K画像を用いて経験的フィッシャー情報として近似され、クラス確率はモデル出力分布からサンプリングされる。
• ViT-B/16におけるFIMの悪条件性を緩和するため、再スケーリングを用いた修正FIMを導入：$ F_{\alpha} = (1-\alpha)F + \alpha\bar{F} $、ここで$ \bar{F} $はFIMの平均値であり、$ \alpha \in [0,1] $ である。
• 正則化項$ \frac{1}{2} \| \theta - \theta_{\text{SSL}} \|_{F}^2 $ は、SSLで学習されたパラメータ$ \theta_{\text{SSL}} $ からの逸脱をペナルティとして課し、FIM値がパラメータの重要性を示す。
• ハイパーパramータは20回のランダムサーチを経て選定され、グループラベルにアクセスせずに全体のトップ-1精度に基づく検証が行われた。
• 本手法はWaterbirdsおよびCeleb-Aで検証され、EWC-FIM、調整済みFIM、L2、ERMベースラインを5つのランダムシードで比較した。

実験結果

リサーチクエスチョン

• RQ1 初期SSL表現へのEWCベースの正則化が、偏ったデータ分布を示す下流タスクにおけるWorst-Group Accuracy（WGA）を向上させることができるか？
• RQ2 標準的なFIM正則化がなぜViT-B/16でSSL性能を回復できないのか、その理由は何か？ そして、この問題をどのように緩和できるか？
• RQ3 FIMベースの正則化は、WaterbirdsやCeleb-Aといったベンチマークデータセットにおいて、標準的なERM微調整よりもWGAを向上させるか？
• RQ4 FIMの条件数が、CNN（例：ResNet50）と比較してビジョントランスフォーマーにおけるEWCの有効性に与える影響は何か？
• RQ5 最新のSSLモデル向けにFIMを事前計算し公開することで、実世界のシナリオにおける実用的で頑健な微調整を可能にすることができるか？

主な発見

• ViT-B/16を用いた場合、EWCとFIM正則化は、ERMベースラインと比較してWaterbirdsのWGAを5%向上させた。
• Celeb-Aでは、同じ手法がViT-B/16を用いてERMベースラインと比較してWGAを2%向上させた。
• ResNet50では、FIM正則化がCeleb-AのWGAを約1%向上させたが、WaterbirdsではERMを下回った。
• ViT-B/16のFIMは悪条件であり、多くの値が0付近または$ 10^{-30} $に近い値を示しており、これは擬似ノルムとして機能し、SSLモデルの完全な回復を妨げている。
• FIMを$ \alpha = 10^{-3} $ で再スケーリングすることで、正則化性能のパレートフロントが向上し、調整されていないFIMおよびL2正則化を上回った。
• 著者らは、ImageNet-1Kで学習されたDINO事前学習済みのViT-B/16およびResNet50用に、事前計算されたFIMを公開しており、再現性と実用的利用を可能にしている。