[論文レビュー] Multi-target Unsupervised Domain Adaptation without Exactly Shared Categories

Huanhuan Yu, Menglei Hu+1 more|arXiv (Cornell University)|Sep 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 37

ひとこと要約

本稿では、同一カテゴリを共有しないソースドメインとターゲットドメインを想定した、マルチターゲット環境を想定した新しい非教師ありドメイン適応フレームワークPA-1SmTを提案する。共通のモデルパラメータ辞書の適応的スパース表現を用いて、生データを共有せずにドメイン間で知識を転送する。ベンチマークデータセットにおいて、NMIで最大7%の向上を達成し、最先端の性能を実現する。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to learn the unlabeled target domain by transferring the knowledge of the labeled source domain. To date, most of the existing works focus on the scenario of one source domain and one target domain (1S1T), and just a few works concern the scenario of multiple source domains and one target domain (mS1T). While, to the best of our knowledge, almost no work concerns the scenario of one source domain and multiple target domains (1SmT), in which these unlabeled target domains may not necessarily share the same categories, therefore, contrasting to mS1T, 1SmT is more challenging. Accordingly, for such a new UDA scenario, we propose a UDA framework through the model parameter adaptation (PA-1SmT). A key ingredient of PA-1SmT is to transfer knowledge through adaptive learning of a common model parameter dictionary, which is completely different from existing popular methods for UDA, such as subspace alignment, distribution matching etc., and can also be directly used for DA of privacy protection due to the fact that the knowledge is transferred just via the model parameters rather than data itself. Finally, our experimental results on three domain adaptation benchmark datasets demonstrate the superiority of our framework.

研究の動機と目的

• 同じカテゴリを共有しない複数のターゲットドメインに1つのソースドメインが適応する、未だ十分に検討されていない非教師ありドメイン適応の状況（1SmT）を解決すること。
• 共有データやカテゴリの整合性に依存しない知識転送手法の開発により、モデルパラメータのみを介してプライバシー保護型の適応を実現すること。
• ソースドメインと複数のターゲットドメイン間で転送可能な知識を的確に捉える共通のモデルパラメータ辞書の構築。
• 閉形式解と理論的収束保証を持つ交互反復戦略を用いたフレームワークの最適化。

提案手法

• ソースドメインと複数のターゲットドメインから共有モデルパラメータ辞書を学習するモデルパラメータ適応フレームワーク（PA-1SmT）を提案。
• 適応的スパース表現を用いて、各ターゲットドメインのモデルパラメータを共通辞書で表現し、選択的知識転送を可能にする。
• ドメイン整合性、スパarsity、パラメータ再構成のバランスを取る共同最適化目的関数を導入。ハイパーパrameterを用いてソースドメインとターゲット間知識のトレードオフを制御。
• 各部分問題が閉形式解を持つ交互最適化戦略を採用。収束性と計算効率を保証。
• 知識転送を生データの共有なしにモデルパラメータのみで行うため、プライバシーに配慮した応用に適している。
• 共通辞書を繰り返し更新することで、カテゴリが異なる場合でもドメイン間の共有構造的知識を反映する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインが完全に同じカテゴリを共有しない状況において、1つのソースドメインから複数のターゲットドメインへ知識を効果的に転送できるか。
• RQ2 カテゴリが重複しないドメイン間で、適応的知識転送を可能にする統一されたモデルパラメータ辞書をどのように構築できるか。
• RQ3 1SmT状況において、従来の特徴量ベースやインスタンスベースのドメイン適応と比較して、モデルパラメータ適応はどの程度優れているか。
• RQ4 実世界のデータセットにおける深刻な照明変化（例：Y4やY5）のような強いドメインシフト下でも、このフレームワークはどの程度の性能を示すか。
• RQ5 新しいターゲットドメインを追加すると、既存のターゲットドメインの性能が向上するか。その理由は何か。

主な発見

• PA-1SmTは3つのベンチマークデータセットで最先端の性能を達成し、1SmTおよび1S1Tの両設定で既存手法を上回る。
• Y2またはY3から他のターゲットドメインに転送する際、NMIが最大7%向上し、カテゴリの不一致下でも強力な転送性を示す。
• 深刻な照明変化（例：Y4やY5）下でも、クラスタリング性能が約2%向上し、ドメインシフトに対して強い耐性を示す。
• 新しいターゲットドメイン（例：Y1）を追加すると、他のすべてのターゲットドメインの性能が向上し、共通モデルパラメータ辞書が多様性の増加から恩恵を受けることが示された。
• 目的関数は単調に収束し、NMIが反復回数に伴い安定化する。これにより、アルゴリズムの収束性と信頼性が確認された。