[論文レビュー] Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors

Ravid Shwartz-Ziv, Micah Goldblum+5 more|arXiv (Cornell University)|May 20, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本論文は、標準の事前学習モデル重みの代わりに、ソースタスクの事後分布から得られる学習された情報性のある事前分布を導入する、新しいベイジアン転移学習フレームワークを提案する。この事前分布は、教師ありまたは自己教師あり事前学習によって学習され、ダウンストリームタスクの損失関数の形状を再スケーリングすることで、画像分類およびセマンティックセグメンテーションのベンチマークにおいて、標準的微調整法および非学習型ベイジアンベースラインを上回る顕著な精度向上とデータ効率の向上を達成する。

ABSTRACT

Deep learning is increasingly moving towards a transfer learning paradigm whereby large foundation models are fine-tuned on downstream tasks, starting from an initialization learned on the source task. But an initialization contains relatively little information about the source task. Instead, we show that we can learn highly informative posteriors from the source task, through supervised or self-supervised approaches, which then serve as the basis for priors that modify the whole loss surface on the downstream task. This simple modular approach enables significant performance gains and more data-efficient learning on a variety of downstream classification and segmentation tasks, serving as a drop-in replacement for standard pre-training strategies. These highly informative priors also can be saved for future use, similar to pre-trained weights, and stand in contrast to the zero-mean isotropic uninformative priors that are typically used in Bayesian deep learning.

研究の動機と目的

• 標準的転移学習の限界、すなわちタスク固有のインダクティブバイアスに欠けるパラメータ初期化に起因する問題を解決すること。
• ソースタスクの表現から得られる情報性のある事前分布を活用することで、ダウンストリームタスクにおけるデータ効率とモデル一般化性能を向上させること。
• 学習された事前分布を用いたベイジアン転移学習が、標準的微調整法および非学習型事前分布を上回ることを示すこと。
• 自己教師ありと教師あり事前学習によって学習された事前分布の転移可能性を調査すること。
• 標準的事前学習の即時置換として機能し、最適化とベイジアン推論の両方を向上させる、再利用可能なコンponentとしての学習済み事前分布を提供すること。

提案手法

• 教師ありまたは自己教師あり事前学習（例：SimCLR）を用いて、ソースタスクのモデル重みに関する事後分布を学習する。
• 情報性のあるパラメータ空間の方向性を捉えるために、低ランク＋対角行列を組み合わせた共分散行列を持つガウス分布としてソースタスクの事後分布を表現する。
• ソースタスクとターゲットタスクの分布的差異を反映させるために、この事後分布を再スケーリングし、ダウンストリームタスクの事前分布として使用する。
• 再スケーリングされた事前分布を用いて、ダウンストリームタスクの負の対数事後確率（すなわち損失関数）を変更し、損失関数の形状を再構築する。
• 標準的SGDまたはモンテカルロサンプリングによる事後分布の全ベイジアン推論を用いて、ダウンストリーム学習を実行する。
• 学習済み事前分布を、将来のダウンストリームタスク用に再利用可能なコンponentとして保存する。

実験結果

リサーチクエスチョン

• RQ1 ソースタスクから学習された情報性のある事前分布が、転移学習におけるダウンストリーム性能を顕著に向上させることができるか？
• RQ2 学習済み事前分布を用いたベイジアン推論が、標準的微調整法および非学習型事前分布と比較して、精度と尤度の観点で優れているか？
• RQ3 事前学習目的（教師あり対自己教師あり）の選択が、事前分布の転移可能性およびダウンストリーム性能に与える影響はいかほどか？
• RQ4 情報性のある事前分布が、微調整におけるデータ効率をどの程度向上させるか？
• RQ5 事前学習済み事前分布を、標準的事前学習重みの即時置換として、ダウンストリームモデルで使用可能か？

主な発見

• CIFAR-10.1では、すべての学習データサイズにおいて、SGD微調整法および非学習型事前分布を用いたベイジアン推論よりも優れた精度を達成し、分布シフトに対してより高いロバストネスを示した。
• ResNet-50を用いたPASCAL VOC 2012では、自己教師ありで学習した事前分布を用いたベイジアン推論が74.15％のMean-IoUを達成し、ベースラインのSGD法（73.17％）および非学習型事前分布（73.72％）を上回った。
• ResNet-101を用いたCityscapesでは、自己教師ありで学習した事前分布を用いた方法が77.63％のMean-IoUを達成し、SGDベースライン（77.04％）および非学習型事前分布（77.02％）を上回った。
• 学習済み事前分布を用いたベイジアン推論は、他のすべての手法よりも低いテスト負の対数尤度を達成しており、より良好にキャリブレーションされた不確実性推定を示している。
• MAP推定（SGD）を用いても性能が向上しており、情報性のある事前分布の利点が、完全なベイジアン推論にとどまらないことが示された。
• 自己教師あり事前学習（SimCLR）によって学習された事前分布は、教師あり事前学習よりもより優れた転移性を示しており、ダウンストリームタスクに強いインダクティブバイアスを有していると考えられる。