[論文レビュー] Adversarial Open Set Domain Adaptation Based on Mutual Information

Tasfia Shermin, Guojun Lu+3 more|arXiv (Cornell University)|Jul 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 1

ひとこと要約

本稿では、複数の補助分類器と動的重み付けモジュールを備えた新しい敵対的ドメイン適応モデルを提案する。このモデルは、ソースドメインにのみ既知のクラスが存在するが、ターゲットドメインに既知および未知のクラスが存在するオープンセットドメイン適応の課題に対処することを目的としている。ドメイン特性に基づいてサンプルの重みを適応的に割り当てることで、負の転送を低減し、従来の手法と比較してベンチマークデータセットにおける性能を向上させる。

ABSTRACT

Domain adaptation aims to transfer knowledge from a domain with adequate labeled samples to a domain with scarce labeled samples. Prior research has introduced various open set domain adaptation settings in the literature to extend the applications of domain adaptation methods in real-world scenarios. This paper focuses on the type of open set domain adaptation setting where the target domain has both private ('unknown classes') label space and the shared ('known classes') label space. However, the source domain only has the 'known classes' label space. Prevalent distribution-matching domain adaptation methods are inadequate in such a setting that demands adaptation from a smaller source domain to a larger and diverse target domain with more classes. For addressing this specific open set domain adaptation setting, prior research introduces a domain adversarial model that uses a fixed threshold for distinguishing known from unknown target samples and lacks at handling negative transfers. We extend their adversarial model and propose a novel adversarial domain adaptation model with multiple auxiliary classifiers. The proposed multi-classifier structure introduces a weighting module that evaluates distinctive domain characteristics for assigning the target samples with weights which are more representative to whether they are likely to belong to the known and unknown classes to encourage positive transfers during adversarial training and simultaneously reduces the domain gap between the shared classes of the source and target domains. A thorough experimental investigation shows that our proposed method outperforms existing domain adaptation methods on a number of domain adaptation datasets.

研究の動機と目的

• ソースドメインに存在しないがターゲットドメインに存在する未知のクラスを含む状況におけるドメイン適応の課題に対処すること。
• より小さなソースドメインからより大規模かつ多様なターゲットドメインに適応する際、従来の分布マッチング手法が失敗するという制限を克服すること。
• 敵対的学習における負の転送を低減するため、ターゲットサンプルが既知クラスか未知クラスかを動的に評価する仕組みを導入すること。
• 共有（既知）クラスのドメイン整合性を向上させるとともに、ターゲットドメインにおける未知クラスの検出を強化すること。
• 現実世界への応用性を備えたオープンセットドメイン適応設定において、固定しきい値手法を上回る性能を発揮する手法を開発すること。

提案手法

• 特徴表現とドメイン識別を強化するため、補助分類器を備えたマルチ・クラスファイア構造を導入する。
• ドメイン固有の特性を評価するための重み付けモジュールを設計し、ターゲットサンプルに適応的重みを割り当てる。
• 適応的重みを用いて敵対的学習を誘導し、既知クラスサンプルに対する正の転送を促進するとともに、未知クラスサンプルからの干渉を最小限に抑える。
• ドメイン敵対的損失と分類損失の組み合わせを用いてモデルを学習し、共有クラスの特徴を統一するとともに未知クラスを検出する。
• 重み付け機構を通じて、相互情報量の原則を暗黙的に活用し、表現品質とドメイン一般化能力を向上させる。
• 分類精度、ドメイン統合、未知クラス検出のバランスをとる統合的目的関数を用いて、エンド・トゥ・エンドでモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインに存在しないがターゲットドメインに存在する未知クラスを含むオープンセット状況における敵対的ドメイン適応は、どのように改善できるか？
• RQ2 ドメイン特性に基づく動的重み付け機構は、敵対的学習における負の転送を低減できるか？
• RQ3 提案手法のマルチ・クラスファイア構造は、固定しきい値手法と比較して、既知クラスおよび未知クラスの両方の性能をどの程度向上させるか？
• RQ4 より小さなソースドメインと、追加のクラスを含むより大規模かつ多様なターゲットドメインとの間のドメインシフトは、どのように処理されるか？
• RQ5 適応的重み付けを通じて相互情報量の原則を統合することで、より優れた特徴表現とドメイン統合が達成されるか？

主な発見

• 提案手法は、既存の最先端手法と比較して、複数のベンチマークドメイン適応データセットで優れた性能を達成した。
• 動的重み付けモジュールは、既知クラスと未知クラスのターゲットサンプルを効果的に区別でき、負の転送のリスクを低減した。
• マルチ・クラスファイア構造は、特徴の識別能を向上させ、ソースドメインとターゲットドメイン間の共有（既知）クラスの整合性を改善した。
• 特にドメインシフトが大きく、ターゲットクラス分布が多様な状況において、固定しきい値手法を上回る性能を発揮した。
• 実験結果から、さまざまなデータセットの組み合わせにおいて、既知クラスの分類精度が一貫して向上し、未知クラスの検出性能も向上したことが示された。