[論文レビュー] Relaxed Conditional Image Transfer for Semi-supervised Domain Adaptation

Qijun Luo, Zhili Liu+8 more|arXiv (Cornell University)|Jan 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 9被引用数 4

ひとこと要約

本論文では、分類ラベルを生成器の入力から削除することでラベル優位問題を軽減し、生画像から意味的特徴を推論させるようにすることで、半教師ありドメイン適応のための新しい条件付き GAN フレームワーク「Relaxed cGAN」を提案する。この手法は、低リソースおよび高リソース設定の両方において、DomainNet や Office-Home、複数の数字ベンチマークで最先端の性能を達成する。

ABSTRACT

Semi-supervised domain adaptation (SSDA), which aims to learn models in a partially labeled target domain with the assistance of the fully labeled source domain, attracts increasing attention in recent years. To explicitly leverage the labeled data in both domains, we naturally introduce a conditional GAN framework to transfer images without changing the semantics in SSDA. However, we identify a label-domination problem in such an approach. In fact, the generator tends to overlook the input source image and only memorizes prototypes of each class, which results in unsatisfactory adaptation performance. To this end, we propose a simple yet effective Relaxed conditional GAN (Relaxed cGAN) framework. Specifically, we feed the image without its label to our generator. In this way, the generator has to infer the semantic information of input data. We formally prove that its equilibrium is desirable and empirically validate its practical convergence and effectiveness in image transfer. Additionally, we propose several techniques to make use of unlabeled data in the target domain, enhancing the model in SSDA settings. We validate our method on the well-adopted datasets: Digits, DomainNet, and Office-Home. We achieve state-of-the-art performance on DomainNet, Office-Home and most digit benchmarks in low-resource and high-resource settings.

研究の動機と目的

• 生成器が分類プロトタイプを記憶してしまうのを防ぎ、ソース画像の特徴を活用するようにすることで、半教師ありドメイン適応における条件付き GAN ベースの画像転送におけるラベル優位問題を解消すること。
• 生成器をラベルではなく入力画像のみで訓練することで、画像転送の質と意味的整合性を向上させるとともに、識別器がクラス条件付き整合性を強制する。
• 未ラベルのターゲットデータを活用して、マージナル損失および疑似ラベル損失を用いることで、低リソース設定におけるモデルの汎化性能を向上させること。
• 提唱された Relaxed cGAN フレームワークの均衡状態に対する理論的裏付けを提供し、安定した学習と収束を保証すること。

提案手法

• 生成器は分類ラベルを入力とせず、画像コンテンツから意味的特徴を直接学習できるようにする。
• 識別器は生成画像とその真のラベルの両方を入力とし、クラス条件付きに本物と偽物の画像-ラベルペアを区別できるようにする。
• 生成器がラベルに条件付けられていない「緩い条件付き」の GAN 損失を用いることで、ラベルの優位性を低減する。
• 生成画像のマージナル分布と実際のターゲット画像の分布を一致させるためのマージナル損失を導入し、ドメイン整合性を向上させる。
• 未ラベルのターゲットサンプルに疑似ラベル損失を適用し、モデル自身の予測を用いて特徴学習を精緻化する。
• 理論的分析により、提唱された Relaxed cGAN の均衡状態が望ましく、安定した学習ダイナミクスを保証することが示された。

実験結果

リサーチクエスチョン

• RQ1 生成器からラベル条件付けを削除することで、半教師ありドメイン適応における条件付き GAN のラベル優位問題が緩和されるか？
• RQ2 ラベルなしで訓練された生成器でも、ターゲットドメインにおいて高品質で意味的に整合性のある画像変換が可能か？
• RQ3 提案された Relaxed cGAN フレームワークは、標準ベンチマークにおいて、従来の特徴レベルおよびピクセルレベルの適応手法を上回る性能を達成するか？
• RQ4 追加の正則化（マージナル損失および疑似ラベル損失）は、低リソース設定におけるモデルの汎化性能向上にどの程度有効か？

主な発見

• 3ショット設定下で DomainNet データセットにおいて、平均精度 74.2% を記録し、すべてのベースラインを上回る最先端の性能を達成した。
• Office-Home ベンチマークでは、1ショット設定で平均精度 98.7% を達成し、比較されたすべての手法を上回った。
• アブレーションスタディでは、追加損失なしの Relaxed cGAN でも S→M タスクで 94.3% の精度を達成し、cycleGAN（68.4%）および予備的手法（87.8%）を著しく上回った。
• マージナル損失および疑似ラベル損失の追加により、S→M タスクの精度が 94.3% から 95.9% に向上した。
• 実験的結果から、提案手法が標準的な条件付き GAN で観察されるラベル不整合およびラベル優位問題を効果的に解消していることが確認された。
• 理論的分析により、Relaxed cGAN フレームワークの均衡状態が安定で望ましいことが確認され、実用的な収束を支持する。