[論文レビュー] Bi-tuning of Pre-trained Representations

Jincheng Zhong, Ximei Wang+3 more|arXiv (Cornell University)|Nov 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 13

ひとこと要約

本論文では、分類器ヘッドとプロジェクターヘッドの両方を同時に最適化することで、教師ありおよび教師なし事前学習表現の両方を向上させる、Bi-tuningと呼ばれる新しい微調整フレームワークを提案する。分類器ヘッドは、ラベルの識別性を高めるために対照的交差エントロピー損失を用い、プロジェクターヘッドは、データの内在的構造を活用するためのカテゴリカル対照的学習損失を用いる。この手法は、低データ環境下においてCUB-200-2011で10.7%の絶対的精度向上を達成し、最先端の性能を実現した。

ABSTRACT

It is common within the deep learning community to first pre-train a deep neural network from a large-scale dataset and then fine-tune the pre-trained model to a specific downstream task. Recently, both supervised and unsupervised pre-training approaches to learning representations have achieved remarkable advances, which exploit the discriminative knowledge of labels and the intrinsic structure of data, respectively. It follows natural intuition that both discriminative knowledge and intrinsic structure of the downstream task can be useful for fine-tuning, however, existing fine-tuning methods mainly leverage the former and discard the latter. A question arises: How to fully explore the intrinsic structure of data for boosting fine-tuning? In this paper, we propose Bi-tuning, a general learning framework to fine-tuning both supervised and unsupervised pre-trained representations to downstream tasks. Bi-tuning generalizes the vanilla fine-tuning by integrating two heads upon the backbone of pre-trained representations: a classifier head with an improved contrastive cross-entropy loss to better leverage the label information in an instance-contrast way, and a projector head with a newly-designed categorical contrastive learning loss to fully exploit the intrinsic structure of data in a category-consistent way. Comprehensive experiments confirm that Bi-tuning achieves state-of-the-art results for fine-tuning tasks of both supervised and unsupervised pre-trained models by large margins (e.g. 10.7\% absolute rise in accuracy on CUB in low-data regime).

研究の動機と目的

• 従来の微調整手法が主にラベル情報に依存している一方で、下流データの内在的構造を無視するという限界に対処すること。
• 教師ありおよび教師なし事前学習モデルに適用可能な汎用的な微調整フレームワークを開発すること。
• 識別的なラベル知識とデータレベルの構造的パターンを同時に活用することで、低データ環境下でのモデルの一般化性能とロバスト性を向上させること。
• 微調整段階で教師あり学習と自己教師あり学習の信号を統合することで、優れた性能が得られることを示すこと。

提案手法

• 分類器ヘッド（ラベル予測用）とプロジェクターヘッド（不変表現学習用）の二重ヘッドアーキテクチャを導入する。
• インスタンスレベルでの正例と負例の対比を用いることで、クラス内コンパクト性を向上させる対照的交差エントロピー（CCE）損失を採用する。
• 表現空間におけるカテゴリ一貫性クラスタリングを促進することで、データの内在的構造を活用するカテゴリカル対照的学習（CCL）損失を提案する。
• 交差エントロピー損失、CCE損失、CCL損失の組み合わせを用いて、ラベル識別性と構造的一致性を同時に最適化するエンドツーエンドの訓練手法を採用する。
• アーキテクチャの変更なしに、ResNet、MoCo、SimCLR、InsDiscなど多様なバックボーンと事前学習手法にこのフレームワークを適用可能である。
• MoCoスタイルのアプローチに準拠し、トレーニングの安定化を図るために、モーメンタム更新されたキーエンコーダーを対照的学習設定で用いる。

実験結果

リサーチクエスチョン

• RQ1 微調整段階でラベル識別性とデータ構造の両方を同時に最適化することで、下流タスクの性能が向上するか？
• RQ2 標準的な交差エントロピー損失と対照的学習を統合した場合、特に低データ環境下での微調整性能にどのような影響を与えるか？
• RQ3 CCEおよびCCL損失を備えた提案された二重ヘッドアーキテクチャは、教師ありでない事前学習手法に対しても一般化可能か？
• RQ4 微調整プロセスにおいて、ラベルベースの信号と構造ベースの信号の相対的寄与度はどの程度か？

主な発見

• 無作為に選択されたMoCo-v1表現を微調整する際、CUB-200-2011データセットで25%の訓練データ環境下で、Bi-tuningは10.7%の絶対的精度向上を達成した。
• CUB-200-2011で100%のデータを使用した場合、ResNet-50バックボーンをMoCoで事前学習したモデルを用いて、Bi-tuningは77.12%のトップ-1精度を達成し、標準的な微調整を上回った。
• アブレーションスタディの結果、CCE損失とCCL損失の両方が独立的かつ相乗的に寄与しており、両者の組み合わせが最良の性能をもたらした。
• 本手法は事前学習手法の種別を問わず汎用的であることが示された：CARS100データセットに適用した際、MoCo、SimCLR、InsDisc、Deep Cluster、CMCのすべてで性能向上が確認された。
• 可視化結果から、Bi-tuned表現は、無作為に事前学習されたモデルが局所的パターンにのみ注目するのに対し、局所的詳細とグローバルなカテゴリレベルの構造の両方を捉えていることがわかった。
• 感度分析の結果、キープールサイズとサンプリングの確率的変動の間にトレードオフが存在し、最適な性能は中程度のキープールサイズで達成された。