[論文レビュー] Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models

Beier Zhu, Kaihua Tang+2 more|arXiv (Cornell University)|Oct 12, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、CLIPのような基礎モデルのラベルバイアスを、微調整済みモデルとゼロショットモデルを統合することで、微調整済みデータからの事前学習ラベル分布の推定によって除去するpost-hoc手法である一般化ロジット調整（GLA）を提案する。GLAはImageNetで1.5 ppの精度向上を達成し、少サンプルおよび長尾ベンチマークにおいて一貫した改善を示し、クラスバランスのとれた分布下でベイズ最適となる。

ABSTRACT

Foundation models like CLIP allow zero-shot transfer on various tasks without additional training data. Yet, the zero-shot performance is less competitive than a fully supervised one. Thus, to enhance the performance, fine-tuning and ensembling are also commonly adopted to better fit the downstream tasks. However, we argue that such prior work has overlooked the inherent biases in foundation models. Due to the highly imbalanced Web-scale training set, these foundation models are inevitably skewed toward frequent semantics, and thus the subsequent fine-tuning or ensembling is still biased. In this study, we systematically examine the biases in foundation models and demonstrate the efficacy of our proposed Generalized Logit Adjustment (GLA) method. Note that bias estimation in foundation models is challenging, as most pre-train data cannot be explicitly accessed like in traditional long-tailed classification tasks. To this end, GLA has an optimization-based bias estimation approach for debiasing foundation models. As our work resolves a fundamental flaw in the pre-training, the proposed GLA demonstrates significant improvements across a diverse range of tasks: it achieves 1.5 pp accuracy gains on ImageNet, an large average improvement (1.4-4.6 pp) on 11 few-shot datasets, 2.4 pp gains on long-tailed classification. Codes are in https://github.com/BeierZhu/GLA.

研究の動機と目的

• Webスケールの事前学習データに偏りがあることによって生じる、基礎モデルにおける見過ごされがちなラベルバイアスを特定・解決すること。
• 元の事前学習データセットにアクセスできない状況下でも、ゼロショット基礎モデルのバイアスを除去する実用的手法を開発すること。
• 推定されたバイアスを補正したゼロショットモデルと微調整済みモデルを統合することで、統計的に最適な方法で下流性能を向上させること。
• 複数の微調整パラダイムを用いた、多数サンプル、少サンプル、長尾学習といった多様な設定における評価を実施すること。

提案手法

• GLAは、事前学習データにアクセスせずに、下流データセットの誤差を最小化する制約付き最適化問題を用いて、基礎モデルのラベルバイアスを推定する。
• 下流のラベルとモデルの予測のみを用いて、事前学習分布の歪みを補正するためのゼロショットモデルのロジットマージンを調整する。
• この手法はベイズ意思決定理論に基づいており、クラスバランスのとれたターゲット分布に対して最終的な統合がベイズ最適な分類器となる。
• GLAは、下流データから導かれる推定ラベル事前分布に基づいて、ゼロショットモデルのロジットを再重み付けすることで、post-hocバイアス除去を実現する。
• 補正済みゼロショットモデルは、学習された融合重みを用いて微調整済みモデルと統合され、耐性と精度が向上する。
• このアプローチは、エンドツーエンド微調整、線形プロービング、プロンプトチューニングの3つの微調整パラダイムにわたって適用可能である。

Figure 1 : (a) Per class accuracy of CLIP-ViT/B16 on ImageNet. Class index are sorted using the estimated pre-training label prior. Curves are smoothed for better visualization. (b) Beak-down performance of different models on ImageNet. We equally divide the ImageNet classes into three subgroups, ac

実験結果

リサーチクエスチョン

• RQ1 偏った事前学習データによって引き起こされる基礎モデルのラベルバイアスが、特にレアクラスにおいて下流性能を低下させるか？
• RQ2 元の事前学習データにアクセスできない状況でも、ラベルバイアスを効果的に推定・補正できるか？
• RQ3 補正済みゼロショットモデルと微調整済みモデルを統合することで、標準的な統合や単独の微調整に比べて性能が向上するか？
• RQ4 GLAは、少サンプル、多数サンプル、長尾学習といった多様な下流設定において、どのように性能を発揮するか？
• RQ5 提案手法によるバイアス除去は、クラスバランス評価下で統計的に最適か？

主な発見

• GLAはImageNetで1.5パーセンテージポイント（pp）の精度向上を達成し、特にテイルクラスでの性能向上が顕著である。
• 11の少サンプルデータセットにおいて、平均1.4～4.6 ppの改善を示し、特に稀なクラスで顕著な向上を記録した。
• 長尾分類においてGLAは2.4 ppの改善を達成し、クラス不均衡に対して強い耐性を示した。
• DomainNetのスケッチドメインでは、GLAがゼロショット精度を93.00%まで向上させ、標準ゼロショット（92.25%）および事前学習ラベル事前分布を用いたバイアス除去（89.50%）を上回った。
• エンドツーエンド、線形プロービング、プロンプトチューニングの3つの微調整パラダイムすべてにおいて、安定した向上を示した。
• 特にテイルクラスにおいて、WiSE-FT や ProGrad よりも優れた性能を発揮し、これらの手法が性能低下を示すのとは対照的であった。

Figure 2 : Illustration of debiasing process on ImageNet validation set. (a) The original distribution of zero-shot outputs; (b) the estimated pre-train distribution $\mathbf{q}$ based on our algorithm; (c) the distribution of debiased zero-shot outputs using estimated $\mathbf{q}$ .