[論文レビュー] Source Free Domain Adaptation with Image Translation

Yunzhong Hou, Liang Zheng|arXiv (Cornell University)|Aug 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 29

ひとこと要約

本稿では、事前学習済み分類器のバッチ正規化（BN）統計を用いて、未観測のソースドメインのスタイルにターゲットドメインの画像を変換する、ソースフリー・ドメイン適応（SFDA）手法を提案する。生成画像のバッチ単位の特徴統計を、ソースモデルのBN層に保存された統計に一致させることで、ソース画像やラベルにアクセスせずに、ラベルなしのターゲットデータにおける分類精度を向上させる。本手法は、複数のデータセットで一貫性があり、統計的に有意な向上を達成する。

ABSTRACT

Effort in releasing large-scale datasets may be compromised by privacy and intellectual property considerations. A feasible alternative is to release pre-trained models instead. While these models are strong on their original task (source domain), their performance might degrade significantly when deployed directly in a new environment (target domain), which might not contain labels for training under realistic settings. Domain adaptation (DA) is a known solution to the domain gap problem, but usually requires labeled source data. In this paper, we study the problem of source free domain adaptation (SFDA), whose distinctive feature is that the source domain only provides a pre-trained model, but no source data. Being source free adds significant challenges to DA, especially when considering that the target dataset is unlabeled. To solve the SFDA problem, we propose an image translation approach that transfers the style of target images to that of unseen source images. To this end, we align the batch-wise feature statistics of generated images to that stored in batch normalization layers of the pre-trained model. Compared with directly classifying target images, higher accuracy is obtained with these style transferred images using the pre-trained model. On several image classification datasets, we show that the above-mentioned improvements are consistent and statistically significant.

研究の動機と目的

• プライバシーまたは知的財産の懸念により、ラベル付きソースデータが入手不可である状況下で、実世界の展開におけるドメインシフトの課題に対処すること。
• ソース画像やラベルにアクセスできない状況でも、事前学習済みモデルをラベルなしのターゲットドメインに効果的に適応させること。
• 事前学習済みソース分類器のみを用いて、ターゲット画像にドメインスタイルを転送し、一般化性能を向上させる手法を開発すること。
• 既存のSFDA手法が疑似ラベル付けや分類器内のBN統計の変更に依存するという限界を克服すること。

提案手法

• 生成的画像変換ネットワークを用いて、ターゲットドメインの画像を未観測のソースドメインのスタイルに変換する。
• 生成画像のバッチ単位の特徴統計を、事前学習済みソース分類器のバッチ正規化（BN）層に保存された累積統計に一致させる。
• 生成器を、コンテンツ損失（アイデンティティを保持）、スタイル損失（BN統計に一致）、エントロピー損失（予測の信頼性を高める）の3つの損失成分を用いて訓練する。
• テスト時に、スタイル変換済みの画像を事前学習済みソース分類器に供給することで、認識精度を向上させる。
• トレーニング中に入力ターゲット画像の再構成を強制することで、コンテンツの一貫性を確保する。
• ソース分類器を変更せず、元の知識を保持しつつ、事前処理による推論適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 ソースデータにアクセスできない状況でも、事前学習済みモデルをラベルなしのターゲットドメインに効果的に適応できるか？
• RQ2 ソース画像が存在しない状況で、事前学習済みモデルのバッチ正規化統計が、ソースドメインスタイルの代理として機能できるか？
• RQ3 直接推論と比較して、ソーススタイルへの画像変換がターゲットドメインにおける分類精度を向上させるか？
• RQ4 損失関数の異なる構成要素が、本手法の性能にどのように寄与しているか？
• RQ5 本手法を疑似ラベル付けと組み合わせることで、さらなる性能向上が達成できるか？

主な発見

• 本手法は、SVHN→MNIST や VisDA-2017 を含む複数のデータセットにおいて、直接推論と比較して一貫性があり、統計的に有意な向上を達成する。
• アブレーションスタディの結果、スタイル損失を除去すると性能が -0.4% 減少し、エントロピー損失を除去すると -0.3% 減少するが、両者とも有意（p<0.05）。
• 疑似ラベル微調整や AdaBN といったベースラインSFDA手法よりも優れている。特に微調整と組み合わせた場合に顕著な優位性を示す。
• 疑似ラベル付けと組み合わせた場合、ラベル付きソースデータを必要とする特徴レベルのドメイン適応手法（MMD や DANN）と同等の性能を達成する。
• 手法は頑健であり、事前学習済み分類器を変更する必要がないため、リリース済みモデルへの適用に適している。
• コンテンツ一貫性損失は極めて重要である。これを欠如させると、生成画像がアイデンティティを失い、手法が意味を失う。