[論文レビュー] Mind the Gap: Enlarging the Domain Gap in Open Set Domain Adaptation

Dongliang Chang, Aneeshan Sain+3 more|arXiv (Cornell University)|Mar 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 4

ひとこと要約

本稿では、未知クラスの検出とドメインアライメントを分離することで、大きなドメインギャップに明示的に対処する、オープンセットドメインアダプテーション（OSDA）のための新規相互学習フレームワーク、Mutual to Separate（MTS）を提案する。2つの専用ネットワーク—サンプル分離ネットワーク（SSN）とドメインマッチングネットワーク（DMN）—を相互に監視する形で訓練することで、極端なドメインシフト下でも一般化性能を向上させ、特に顕著なドメインギャップを示す再利用されたPACSデータセットにおいて、最先端の性能を達成する。

ABSTRACT

Unsupervised domain adaptation aims to leverage labeled data from a source domain to learn a classifier for an unlabeled target domain. Among its many variants, open set domain adaptation (OSDA) is perhaps the most challenging, as it further assumes the presence of unknown classes in the target domain. In this paper, we study OSDA with a particular focus on enriching its ability to traverse across larger domain gaps. Firstly, we show that existing state-of-the-art methods suffer a considerable performance drop in the presence of larger domain gaps, especially on a new dataset (PACS) that we re-purposed for OSDA. We then propose a novel framework to specifically address the larger domain gaps. The key insight lies with how we exploit the mutually beneficial information between two networks; (a) to separate samples of known and unknown classes, (b) to maximize the domain confusion between source and target domain without the influence of unknown samples. It follows that (a) and (b) will mutually supervise each other and alternate until convergence. Extensive experiments are conducted on Office-31, Office-Home, and PACS datasets, demonstrating the superiority of our method in comparison to other state-of-the-arts. Code available at https://github.com/dongliangchang/Mutual-to-Separate/

研究の動機と目的

• 大きなドメインギャップ下で既存のOSDA手法の性能低下を是正すること、特に現実的で大きなシフトが生じる状況において。
• 未知クラス検出とドメインアライメントを同時に実行する現在の統合モデルの限界を調査すること。
• サンプル分離とドメイン分布マッチングの間で相互監視を可能にする二重ネットワークフレームワークを設計し、より高い耐性を実現すること。
• PACSを含む再利用された新規ベンチマーク上で提案手法を評価し、極端なドメインシフト下での性能を評価すること。

提案手法

• 本手法は二重ネットワークアーキテクチャを導入する：サンプル分離ネットワーク（SSN）は、既知の対象サンプルと未知の対象サンプルを区別するための超平面を学習する。
• ドメインマッチングネットワーク（DMN）は、未知のサンプルを除外することで、ソースドメインとターゲットドメイン間の敵対的ドメインアライメントを実行する。
• 相互学習モジュールは、SSNとDMNの間で監視を交互に切り替え、反復的精錬を通じて互いの性能向上を可能にする。
• ドメイン別損失を採用し、ドメインアライメント中に未知のターゲット特徴とソースおよび既知のターゲット特徴から遠ざけるようにする。
• ユークリッド距離を用いてソースとターゲット特徴間の分布類似度を測定し、この設定ではKLダイバージェンスよりも優れた性能を示す。
• 2つのCNN間のパラメータを共有しないことで、特徴表現の多様性を高め、相互学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 PACSのような再利用されたベンチマーク上で、ドメインギャップがますます大きくなる状況下で、最先端のOSDA手法はどのように性能を発揮するか？
• RQ2 未知サンプル検出をドメインアライメントから分離することで、オープンセットドメインアダプテーションにおける一般化性能が向上するか？
• RQ3 2つの専用ネットワーク間の相互監視が、高シフトドメインアダプテーションにおける性能に与える影響は何か？
• RQ4 ドメインアライメントから未知サンプルを除外することで、負のトランスファーを防ぎ、耐性を向上させられるか？
• RQ5 パラメータ共有の有無や損失関数などのアーキテクチャ的選択が、最終的な性能に与える影響は何か？

主な発見

• Office-31、Office-Home、PACSの中でもドメインギャップが最大であるPACSデータセットにおいて、提案されたMTS手法は未知クラスメトリックで53.9%の精度を達成し、先行SOTA手法を顕著に上回る。
• 初期化から再学習したResNet-18バックボーンを用いても、MTSはOSメトリックで10.9%、OS*で6.6%、未知クラス精度で53.9%の向上を達成し、ベースラインを上回る。
• アブレーションスタディにより、相互学習、ドメイン別損失、非共有重み、ユークリッド距離の各要素が性能向上に顕著な寄与をしていることが確認された。
• 相互学習を含まないMTSは平均で5.2%劣るため、効果的な知識共有には相互監視が不可欠であることが示された。
• SOTAベースラインと比較して、ドメインシフトが増大する状況での相対的性能低下を40%低減したため、大きなドメインギャップに対する優れた耐性を示した。
• 特徴可視化により、MTSが既知クラスの特徴をドメイン間で適切にアライメントさせるとともに、未知特徴を分離していることが確認され、モデルの識別能力が妥当であることが裏付けられた。