[論文レビュー] LogME: Practical Assessment of Pre-trained Models for Transfer Learning

Kaichao You, Yong Liu+2 more|arXiv (Cornell University)|Feb 22, 2021

Topic Modeling参考文献 72被引用数 39

ひとこと要約

LogMEは、特徴量からラベルの最大証拠を推定することで転移学習のための事前学習モデルを評価する高速で一般的な方法を導入します。これにより、監督あり/なし、分類、回帰、言語タスクを横断してファインチューニングなしでモデル選択が可能になります。

ABSTRACT

This paper studies task adaptive pre-trained model selection, an underexplored problem of assessing pre-trained models for the target task and select best ones from the model zoo \emph{without fine-tuning}. A few pilot works addressed the problem in transferring supervised pre-trained models to classification tasks, but they cannot handle emerging unsupervised pre-trained models or regression tasks. In pursuit of a practical assessment method, we propose to estimate the maximum value of label evidence given features extracted by pre-trained models. Unlike the maximum likelihood, the maximum evidence is \emph{immune to over-fitting}, while its expensive computation can be dramatically reduced by our carefully designed algorithm. The Logarithm of Maximum Evidence (LogME) can be used to assess pre-trained models for transfer learning: a pre-trained model with a high LogME value is likely to have good transfer performance. LogME is \emph{fast, accurate, and general}, characterizing itself as the first practical method for assessing pre-trained models. Compared with brute-force fine-tuning, LogME brings at most $3000 imes$ speedup in wall-clock time and requires only $1\%$ memory footprint. It outperforms prior methods by a large margin in their setting and is applicable to new settings. It is general enough for diverse pre-trained models (supervised pre-trained and unsupervised pre-trained), downstream tasks (classification and regression), and modalities (vision and language). Code is available at this repository: \href{https://github.com/thuml/LogME}{https://github.com/thuml/LogME}.

研究の動機と目的

• ファインチューニングなしでターゲットタスクに最適な開始モデルを選ぶためのタスク適応型の事前学習モデル選択を動機づける。
• 特徴とラベルの適合性を評価するために、最大証拠に基づく確率的で勾配フリーなスコア（LogME）を提案する。
• LogMEの監督付き・非監督付きの事前学習モデル、およびモダリティを横断する分類・回帰タスクへの適用性を実証する。
• LogMEが brute-forceのファインチューニングより大幅なスピードアップを提供し、実際の転移性能と強く相関することを示す。

提案手法

• 事前学習モデルを固定特徴抽出器として表現し、抽出された特徴量の上に線形予測子を置いてターゲットをモデル化する。
• ガウス事前分布を用いて重みを周辺化して証拠 p(y|F) を計算し、閉形式の対数証拠 L(alpha,beta) に導く。
• αとβに関してLを最大化する固定点交互最適化を用い、γを得てmとAの効率的な更新を提供する。
• LogMEを各ターゲット次元ごとの最大証拠の平均として定義する、すなわち LogME = (1/K) ∑_k L_k / n、各出力次元kについて解いた後。
• 多変量ターゲットへ拡張するため、次元ごとに適用して平均し、分類は回帰フレームワークに合わせるために1-hotエンコーディングで扱う。
• F^T F の特異値分解(SVD)を活用して行列の逆算を避け、行列-ベクトル更新を実現する計算最適化を提供する。

実験結果

リサーチクエスチョン

• RQ1 LogMEは多様なタスクとモダリティに跨ってファインチューニングなしで事前学習モデルを転移学習のために信頼性高くランク付けできるか？
• RQ2 LogMEは brute-force のファインチューニングを上回る高速性とメモリ効率を示しつつ、実際の転移性能と強い相関を維持できるか？
• RQ3 LogMEは監督付き・非監督付き、分類、回帰、言語モデルのシナリオへ拡張できるか？
• RQ4 適用性と予測精度の観点から、LEEPやNCEといった既存手法とLogMEはどう比較されるか？

主な発見

• LogME は複数のデータセットとタスクにおいて、従来法よりファインチューニング後の転移性能との相関が一貫して高い。
• LogME は brute-force ファインチューニングに対して最大約3000×の実時間スピードアップと1%のメモリ使用量しか使わない。
• LogMEは監督付きおよび非監督付きの事前学習モデル、さらには分類・回帰・言語モデルタスクを、視覚・言語領域にまたがって適用可能。
• 回帰(dSprites)では、ファインチューニング後のMSEがより低くなることとLogMEが0.84のtauで相関し、より高いLogMEモデルがより良い性能を発揮する確率が92%であることを示唆する。
• 言語モデルを用いたGLUEタスクでは、外部の調整成果から転用して3タスクのランキングを完全に推定できる（tau_w = 1）。
• 実証的な結果は、LogMEがターゲットタスクでのハイパーパラメータ調整なしに、実用的でタスク適応型のモデル選択を提供し、真の転移性能と一致することを示している。