[論文レビュー] Adaptive Consistency Regularization for Semi-Supervised Transfer Learning

Abulikemu Abuduweili, Xingjian Li+3 more|arXiv (Cornell University)|Mar 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 8

ひとこと要約

本論文は、自己学習と転移学習の統合を促進するための適応的整合性正則化を提案する。Adaptive Knowledge Consistency (AKC) を導入し、信頼度に基づくサンプル選択を用いて、事前学習済みのソースモデルからターゲットモデルへの知識蒸留を実現する。また、動的サンプリングを用いたMMD最小化により、ラベル付きとラベルなしのターゲット例間の表現を整合化するAdaptive Representation Consistency (ARC) を提案する。本手法は、FixMatch や MixMatch などの最先端のSSL技術を上回り、特にラベルが少ない状況下でも優れた性能を示す。また、既存手法と直交しており、組み合わせることでさらなる性能向上が可能である。

ABSTRACT

While recent studies on semi-supervised learning have shown remarkable progress in leveraging both labeled and unlabeled data, most of them presume a basic setting of the model is randomly initialized. In this work, we consider semi-supervised learning and transfer learning jointly, leading to a more practical and competitive paradigm that can utilize both powerful pre-trained models from source domain as well as labeled/unlabeled data in the target domain. To better exploit the value of both pre-trained weights and unlabeled target examples, we introduce adaptive consistency regularization that consists of two complementary components: Adaptive Knowledge Consistency (AKC) on the examples between the source and target model, and Adaptive Representation Consistency (ARC) on the target model between labeled and unlabeled examples. Examples involved in the consistency regularization are adaptively selected according to their potential contributions to the target task. We conduct extensive experiments on popular benchmarks including CIFAR-10, CUB-200, and MURA, by fine-tuning the ImageNet pre-trained ResNet-50 model. Results show that our proposed adaptive consistency regularization outperforms state-of-the-art semi-supervised learning techniques such as Pseudo Label, Mean Teacher, and FixMatch. Moreover, our algorithm is orthogonal to existing methods and thus able to gain additional improvements on top of MixMatch and FixMatch. Our code is available at https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning.

研究の動機と目的

• 事前学習済みモデルを活用する際の、半教師付き学習と転移学習の統合の仕組みの欠落を埋める。
• ターゲットドメインにおけるラベル付きおよびラベルなしデータを効果的に活用することで、低データ環境での一般化性能を向上させる。
• 知識蒸留のための信頼性の高いサンプルの選択を適応的に実施することで、ソースモデルからの負の転送を軽減する。
• 高信頼度のラベルなしサンプルを動的に選択することで、表現学習を強化する。
• 既存のSSL手法と直交するフレームワークを構築し、組み合わせることでさらなる性能向上を可能にする。

提案手法

• 同じターゲット例について、ソースモデルとターゲットモデルの予測の一貫性を強制するAdaptive Knowledge Consistency (AKC) を導入。ソースモデルの出力エントロピーに基づく信頼度しきい値を用いる。
• AKCに動的しきい値設定を適用：予測エントロピーが ε_K = 0.7·log(C_s) 未満のサンプルのみを用いることで、負の転送のリスクを低減する。
• ラベル付きとラベルなしのターゲット例の表現間の分布を一致させるために、Maximum Mean Discrepancy (MMD) を最小化するAdaptive Representation Consistency (ARC) を提案する。
• ARCでは信頼度に基づくサンプリング戦略を採用し、しきい値 ε_R = 0.5·log(C_t) が、MMD正則化に使用される高信頼度のラベルなしサンプルの割合を制御する。
• ARCでは、カリキュラム学習に類似した挙動を実現する。訓練エポックが進むにつれ、選択されるサンプル数が徐々に増加し、初期は低信頼度のサンプルから始まり、モデルの信頼度が向上するにつれてより多くのサンプルが含められるようになる。
• 事前学習済み ImageNet モデルをターゲットデータセットに限定されたラベル付きデータで微調整する統合的エンドツーエンドの訓練フレームワークに、AKC と ARC を統合する。

実験結果

リサーチクエスチョン

• RQ1 適応的整合性正則化は、事前学習済みモデルとターゲットドメインのラベルなしデータを活用することで、半教師付き転移学習を向上させ得るか？
• RQ2 知識蒸留と表現一致における適応的サンプリングの効果は、低ショット学習状況下で性能にどのように影響を与えるか？
• RQ3 提案手法は、FixMatch や MixMatch などの既存の最先端SSL技術を上回るか？
• RQ4 提案された正則化部は、半教師付き転移学習を超えて、他の学習パラダイムへ一般化可能か？
• RQ5 非適応的ベースラインと比較して、適応的サンプリングは、どれほど耐性と一般化性能を向上させるか？

主な発見

• CUB-200-2011 で 400 個のラベル付きサンプルを用いた場合、提案手法は 41.88% の正確度を達成し、非適応的 ARC を 5.7% 上回った。
• CUB-200-2011 で 400 個のラベル付きサンプルを用いた場合、ε_K = 0.7·log(C_s) を用いた AKC は、非適応的 AKC よりも 11.8% の性能向上を達成した。
• CIFAR-10 で 2000 個のラベル付きサンプルを用いた場合、本手法は 71.33% の正確度を達成し、Pseudo Label や Mean Teacher、FixMatch を上回った。
• MixMatch や FixMatch と組み合わせた場合、本手法は追加の性能向上を示し、既存のSSL技術と直交していることを示した。
• CUB-200-2011 で完全な教師あり転移学習を実施した場合、AKC と ARC を組み合わせることで正確度を 81.77% から 83.52% に向上させた。
• ARC における適応的サンプリング戦略はカリキュラム学習に類似した挙動を示し、最初の 10 エポックで使用されるサンプルの割合が 30% から 90% に増加し、訓練の安定性と一般化性能が向上した。