[論文レビュー] Frustratingly Easy Transferability Estimation

Long-Kai Huang, Ying Wei+3 more|arXiv (Cornell University)|Jun 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 12

ひとこと要約

本稿では、1回の順方向伝搬で事前学習モデルが抽出する特徴とターゲットタスクのラベル間の相互情報量を計算することで、単純で効率的かつ効果的な転移性推定手法であるTransRateを提案する。符号化レートを相互情報量の計算効率の良い代替指標として用いることで、層ごとの特徴の完全性とコンactnessを評価し、32のモデルと16の下流タスクでわずか10行のコードで最先端の性能を達成する。

ABSTRACT

Transferability estimation has been an essential tool in selecting a pre-trained model and the layers in it for transfer learning, to transfer, so as to maximize the performance on a target task and prevent negative transfer. Existing estimation algorithms either require intensive training on target tasks or have difficulties in evaluating the transferability between layers. To this end, we propose a simple, efficient, and effective transferability measure named TransRate. Through a single pass over examples of a target task, TransRate measures the transferability as the mutual information between features of target examples extracted by a pre-trained model and their labels. We overcome the challenge of efficient mutual information estimation by resorting to coding rate that serves as an effective alternative to entropy. From the perspective of feature representation, the resulting TransRate evaluates both completeness (whether features contain sufficient information of a target task) and compactness (whether features of each class are compact enough for good generalization) of pre-trained features. Theoretically, we have analyzed the close connection of TransRate to the performance after transfer learning. Despite its extraordinary simplicity in 10 lines of codes, TransRate performs remarkably well in extensive evaluations on 32 pre-trained models and 16 downstream tasks.

研究の動機と目的

• 負の転移を回避し、パフォーマンスを最大化するため、転移学習における最適な事前学習モデルと層の選択という課題に取り組む。
• 事前学習モデルの異なる層における転移性を評価できる計算効率の良い転移性推定手法を開発する。
• 従来の手法が細かい微調整を必要としたり、層の違いを区別できないという限界を克服する。
• 単純で効果的であり、ターゲットデータに対して1回の順方向伝搬で十分な手法を提供する。

提案手法

• TransRateは、特定の層における事前学習モデルが抽出する特徴とターゲットタスクのラベルとの間の相互情報量として転移性を推定する。
• 情報理論における符号化レートを相互情報量の計算効率の良い代替指標として用い、高価なニューラルネットワークの訓練や膨大な離散化を回避する。
• 統一されたフレームワーク内で、特徴の完全性（情報量）とコンパクトネス（クラス分離性）の両方を評価する。
• 特徴とラベルの結合分布と条件付き分布の間の符号化レート差を計算することで、高次元空間でも安定した推定が可能である。
• 時間計算量はO(min{d^{2.373} + nd^2, n^{2.373} + dn^2}) であり、層全体にわたる高速な評価を可能にする。
• レート差の計算におけるキャンセル効果のおかげで、ハイパーパrameter、特にノイズパラメータεの選択に対して頑健である。

実験結果

リサーチクエスチョン

• RQ1 与えられたターゲットタスクに対して、どの事前学習モデルとどの層が最も高い転移性を示すか？
• RQ2 微調整や追加の訓練を必要とせず、かつ高効率かつ高精度な転移性推定手法は可能か？
• RQ3 特徴とラベル間の相互情報量は、下流の転移学習パフォーマンスをどれほど正確に予測できるか？
• RQ4 単純で1回のパスのみで済む手法は、事前学習モデルの異なる層における転移性を効果的に区別できるか？

主な発見

• TransRateは、32の事前学習モデルと16の下流タスクにおいて、最小限の計算コストで最先端の性能を達成する。
• ターゲットデータに対して1回の順方向伝搬でのみ処理するため、微調整ベースや訓練集約型の代替手法と比較して極めて効率的である。
• 実際の下流タスクにおける転移学習パフォーマンスと強い相関を示し、一般化への理論的関連性を裏付ける。
• レート差の計算におけるキャンセル効果のおかげで、ハイパーパrameter、特にノイズパラメータεの選択に対して頑健である。
• わずか10行のコードで実装されるシンプルさにもかかわらず、層ごとの転移性を評価できない既存の計算効率の良い手法を上回る。