[論文レビュー] Gradually Vanishing Bridge for Adversarial Domain Adaptation

Shuhao Cui, Shuhui Wang+4 more|arXiv (Cornell University)|Mar 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 15

ひとこと要約

本稿では、学習されたブリッジベクトル γ の範囲を段階的に最小化することで、特徴表現におけるドメイン固有の特徴を抑圧する、新しいドメイン適応手法である勾配消失ブリッジ（GVB）を提案する。γ がゼロに近づくように制約を課すことにより、GVB はドメイン整合性を向上させ、ターゲットドメインにおける誤分類を低減し、最小限の分布シフトで標準ベンチマークで最先端の性能を達成する。

ABSTRACT

In unsupervised domain adaptation, rich domain-specific characteristics bring great challenge to learn domain-invariant representations. However, domain discrepancy is considered to be directly minimized in existing solutions, which is difficult to achieve in practice. Some methods alleviate the difficulty by explicitly modeling domain-invariant and domain-specific parts in the representations, but the adverse influence of the explicit construction lies in the residual domain-specific characteristics in the constructed domain-invariant representations. In this paper, we equip adversarial domain adaptation with Gradually Vanishing Bridge (GVB) mechanism on both generator and discriminator. On the generator, GVB could not only reduce the overall transfer difficulty, but also reduce the influence of the residual domain-specific characteristics in domain-invariant representations. On the discriminator, GVB contributes to enhance the discriminating ability, and balance the adversarial training process. Experiments on three challenging datasets show that our GVB methods outperform strong competitors, and cooperate well with other adversarial methods. The code is available at https://github.com/cuishuhao/GVB.

研究の動機と目的

• ブリッジベースのドメイン適応手法における残留ドメイン固有特徴の課題に対処すること。
• 学習されたブリッジベクトル γ におけるドメイン固有特徴の影響を低減し、特徴の整合性を向上させること。
• ソースドメインとターゲットドメインの両方で γ の全体的な範囲を最小化し、ノイズの多いまたは難しい例を抑圧すること。
• ドメイン不変およびドメイン固有の成分をより効果的に分離することで、ドメイン一般化を向上させること。
• 残留ドメイン特性に起因する誤分類を低減させることで、ターゲットドメインの分類精度を向上させること。

提案手法

• すべてのサンプルにおいてブリッジベクトル γ_i の L1 ノルムを最小化する新しい損失関数 ℒ_G を提案し、γ_i がゼロに近づくように促進する。
• 勾配消失ブリッジ（GVB）機構を導入し、γ_i の範囲を段階的に縮小することでドメイン固有情報の抑圧を実現する。
• G_*(x_i) = G_2(G_1(x_i)) - G_3(G_1(x_i)) として定義される生成器 G_* に GVB を適用し、ドメイン不変およびドメイン固有の特徴を分離する。
• 表現 ri の分布をソースドメインとターゲットドメインで整合させるために敵対的訓練を適用する。
• G_1 が共有特徴を学習し、G_2 と G_3 がそれぞれドメイン固有およびブリッジ成分をモデル化する三スティーム生成器アーキテクチャを採用する。
• 中間ドメイン外の点を困難な例またはノイズデータとして扱い、γ の最小化に注力することでその負の影響を低減する。

実験結果

リサーチクエスチョン

• RQ1 ブリッジベクトル γ におけるドメイン固有特徴を効果的に抑圧することで、ドメイン整合性を向上させることは可能か？
• RQ2 γ の範囲がドメイン不変表現の品質およびターゲットドメイン分類の質に与える影響は何か？
• RQ3 γ のノルムの段階的最小化は、敵対的ドメイン適応におけるより良い一般化をもたらすか？
• RQ4 提案手法 GVB は、ハード例に対して既存のブリッジベース手法と比較して、より高いロバスト性を示すか？
• RQ5 γ の範囲を小さくすることで、ドメイン不変およびドメイン固有の特徴の分離はどの程度向上するか？

主な発見

• 提案された GVB 損失は、ブリッジベクトル γ の範囲を顕著に縮小し、クリアなドメイン不変表現を実現する。
• γ のノルムを最小化することで、ドメイン固有特徴の影響が抑圧され、分類器および表現学習におけるその負の影響が軽減される。
• 適応後、より多くのデータポイントが中間ドメインに含まれるようになり、整合性の向上が示された。
• 中間ドメイン外の点は効果的に困難な例またはノイズデータとして扱われ、γ の抑圧のおかげでその影響が低減された。
• 実騴結果により、GVB はベースライン手法と比較してターゲットドメインにおける誤分類確率が低くなることが検証された。
• 可視化結果から、GVB は特に中間ドメイン空間において特徴分布の整合性を向上させることを示している。