[論文レビュー] Clarinet: A One-step Approach Towards Budget-friendly Unsupervised Domain Adaptation

Yiyang Zhang, Feng Liu+4 more|arXiv (Cornell University)|Jul 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 5

ひとこと要約

本稿では、真のラベルを伴う高価なソースデータの代わりに、補完ラベルを用いた低コストな教師なしドメイン適応（BFUDA）を実現するワンステップの深層学習フレームワーク、CLARINETを提案する。分類器は補完ラベルのソースデータとラベルなしのターゲットデータ上で学習される。新たなマッピング関数を用いて補完ラベル損失とドメイン対抗的適応を同時に最適化することで、6つのBFUDAベンチマークで最先端の性能を達成し、二段階アプローチや標準的なUDA手法を著しく上回る。

ABSTRACT

In unsupervised domain adaptation (UDA), classifiers for the target domain are trained with massive true-label data from the source domain and unlabeled data from the target domain. However, it may be difficult to collect fully-true-label data in a source domain given a limited budget. To mitigate this problem, we consider a novel problem setting where the classifier for the target domain has to be trained with complementary-label data from the source domain and unlabeled data from the target domain named budget-friendly UDA (BFUDA). The key benefit is that it is much less costly to collect complementary-label source data (required by BFUDA) than collecting the true-label source data (required by ordinary UDA). To this end, the complementary label adversarial network (CLARINET) is proposed to solve the BFUDA problem. CLARINET maintains two deep networks simultaneously, where one focuses on classifying complementary-label source data and the other takes care of the source-to-target distributional adaptation. Experiments show that CLARINET significantly outperforms a series of competent baselines.

研究の動機と目的

• 教師なしドメイン適応（UDA）における真のラベルを伴うソースデータの高コストなラベル付けを解消するため、安価な補完ラベルデータを用いる新たな問題設定、低コストなUDA（BFUDA）を導入すること。
• 二段階アプローチにおける疑似ラベルの誤差蓄積を回避するため、補完ラベルのソースデータから直接ラベルなしのターゲットデータへ適応するワンステップ手法を開発すること。
• 補完ラベル分類とドメイン不変表現学習を同時に最適化する深層ニューラルネットワークアーキテクチャを設計すること。
• 標準的なUDA手法が補完ラベルに起因するノイズの影響を正しく処理できないこと、および提案されたエンドツーエンドフレームワークの優位性を実証すること。

提案手法

• CLARINETは、共有の特徴抽出器G、ラベル予測器F、および条件付きドメイン識別器Dを備えた二重ネットワークアーキテクチャを採用し、ドメイン不変特徴を学習する。
• 新たなマッピング関数Tを用いた補完ラベル損失を導入し、分類器の出力を真のラベル分布に適切に再配分することで、より良い一致を実現する。
• 補完ラベルにおける交差エントロピー損失とドメイン対抗的損失を組み合わせて、エンド・ツー・エンドで学習を行う。ドメインシフトを最小化する。
• マッピング関数Tは、誤ったラベルからのバイアスを低減するように設計されており、BFUDA下での一般化性能の向上に寄与する。
• SGDを用いた学習で、学習率スケジューリングとドメイン対抗的重み付けを適用し、CDANおよびDANNの標準的手法に従う。
• 標準的なデータセットを用いた6つのドメイン適応タスクでフレームワークを評価し、ハイパーパrameterは先行研究と一致させる。

実験結果

リサーチクエスチョン

• RQ1 補完ラベルのソースデータからラベルなしのターゲットデータへ知識を効果的に転送できるワンステップの深層学習フレームワークは、二段階手法を上回る性能を発揮できるか？
• RQ2 提案されたマッピング関数Tは、補完ラベルに起因するノイズを軽減することで、BFUDA下での適応性能を著しく向上させるか？
• RQ3 CDAN や DANN のような標準的なUDA手法をBFUDAタスクに直接適用できるか、それとも疑似ラベルのノイズの影響で失敗するか？
• RQ4 補完ラベル学習とドメイン適応の共同最適化は、分離された学習段階と比較して収束性および精度にどのように影響するか？
• RQ5 マッピング関数Tは、複数のBFUDAベンチマークにおいてモデルの安定性と最終的性能にどのような影響を及ぼすか？

主な発見

• CLARINETは6つのBFUDAタスクで平均85.451%の最高精度を達成し、次に優れたベースラインであるGAC+CDAN（82.426%）を著しく上回った。
• 二段階ベースラインのGAC+CDANは、M→UおよびM→mタスクで一定のエポック数を過ぎると精度が低下するなど、疑似ラベルのノイズに対して脆弱であることが示された。
• マッピング関数Tを有するCLARINETはU→Mタスクで84.499%の精度を達成したが、Tを除いたアブレーションバージョン（C w/o T）は82.112%にとどまり、Tの有効性が裏付けられた。
• アブレーションスタディの結果、補完ラベル損失を標準的な交差エントロピー損失に置き換えた場合（C w/ L_CE）、精度が著しく低下した。これは、UDA手法がBFUDAを直接処理できないことを確認した。
• CLARINETは全タスクで精度が安定して上昇し、収束する一方で、二段階手法では収束の停止や振動する挙動が見られた。
• 提案されたフレームワークは、低コストな補完ラベルデータからターゲットドメインへ知識を効果的に転送でき、BFUDAパラダイムの実現可能性と優位性を実証した。