[論文レビュー] Distill and Fine-tune: Effective Adaptation from a Black-box Source Model

Jian Liang, Dapeng Hu+2 more|arXiv (Cornell University)|Apr 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 10

ひとこと要約

本稿では、ブラックボックスなソースモデル（予測結果のみ利用可能）から知識を蒸留し、その後未ラベルのターゲットデータ上で微調整を行う2段階の教師なしドメイン適応フレームワーク、Dis-tuneを提案する。本手法は、生のソースデータを必要とせず、データ漏洩のリスクも回避するため、プライバシーを守りながらも、クローズドセットおよびパーシャルセットUDA設定の両方で最先端の性能を達成する。

ABSTRACT

To alleviate the burden of labeling, unsupervised domain adaptation (UDA) aims to transfer knowledge in previous related labeled datasets (source) to a new unlabeled dataset (target). Despite impressive progress, prior methods always need to access the raw source data and develop data-dependent alignment approaches to recognize the target samples in a transductive learning manner, which may raise privacy concerns from source individuals. Several recent studies resort to an alternative solution by exploiting the well-trained white-box model instead of the raw data from the source domain, however, it may leak the raw data through generative adversarial training. This paper studies a practical and interesting setting for UDA, where only a black-box source model (i.e., only network predictions are available) is provided during adaptation in the target domain. Besides, different neural networks are even allowed to be employed for different domains. For this new problem, we propose a novel two-step adaptation framework called Distill and Fine-tune (Dis-tune). Specifically, Dis-tune first structurally distills the knowledge from the source model to a customized target model, then unsupervisedly fine-tunes the distilled model to fit the target domain. To verify the effectiveness, we consider two UDA scenarios (\ie, closed-set and partial-set), and discover that Dis-tune achieves highly competitive performance to state-of-the-art approaches.

研究の動機と目的

• 生のソースデータへのアクセスが不要であることを前提に、教師なしドメイン適応（UDA）におけるプライバシー懸念を解消すること。
• ソースモデルの重みや元のデータにアクセスできない状況下でも、ブラックボックスモデルの予測結果のみを用いて効果的な適応を可能にすること。
• ソースドメインとターゲットドメインで異なるニューラルネットワークアーキテクチャを用いることが可能な柔軟なフレームワークの開発。
• クローズドセットおよびパーシャルセット適応の両状況下で、競争力のある性能を達成すること。

提案手法

• ソースモデルの予測から得られるソフトラベルを用いて、新たに初期化されたターゲットモデルに対して構造的知識蒸留を実行する。
• 学生・教師型の知識蒸留目的関数を用いて、ソースモデルの予測行動をターゲットモデルに転送する。
• その後、未ラベルのターゲットデータのみを用いて、蒸留されたターゲットモデルの微調整を実施する。
• 微調整の過程で一貫性正則化損失を適用し、ターゲットドメインにおけるロバスト性と一般化性能を向上させる。
• ソースドメインとターゲットドメインで異なるニューラルネットワークアーキテクチャを用いることが可能であり、柔軟性を高める。
• 2段階のパイプライン（蒸留 → 自己教師学習による微調整）で、モデルをエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 生のデータやモデル重みにアクセスできない状況下で、ブラックボックスソースモデルの予測結果のみを用いて、効果的なドメイン適応が達成可能か？
• RQ2 提案手法の2段階の蒸留と微調整フレームワークは、データ依存型またはホワイトボックスモデルに基づく従来のUDA手法と比較して、性能およびプライバシー面でどのように優れているか？
• RQ3 本フレームワークは、クローズドセットおよびパーシャルセットUDA両設定下でも高い性能を維持できるか？
• RQ4 ソースドメインとターゲットドメインで異なるニューラルネットワークアーキテクチャを用いても、適応性能が低下しないか？

主な発見

• Dis-tuneは、クローズドセットおよびパーシャルセット適応の両状況下で、最先端のUDA手法と比較しても非常に競争力のある性能を達成する。
• 本フレームワークは、生のソースデータを必要とせず、ブラックボックスソースモデルからの知識転送を効果的に行うため、プライバシーリスクを低減する。
• 2段階の蒸留と微調整パイプラインは、単独の蒸留や微調整に比べ、適応性能を顕著に向上させる。
• 異なるニューラルネットワークアーキテクチャをソースとターゲットで用いても、本手法は依然として効果的である。
• 生成的敵対的訓練に起因するような、ホワイトボックスモデルへのアクセスに伴うデータ漏洩リスクを回避する。
• 実験結果から、実用的制約下でも多様なUDAベンチマークにおいて強力な一般化性能が示された。