[論文レビュー] Known-class Aware Self-ensemble for Open Set Domain Adaptation

Qing Lian, Wen Li+2 more|arXiv (Cornell University)|May 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 8

ひとこと要約

本稿では、ソースドメインとターゲットドメインの間でラベル空間の重複が部分的である状況を想定した、オープンセットドメイン適応のための新規手法 Known-class Aware Self-ensemble (KASE) を提案する。KASE は、既知のクラスと未知のクラスを区別する Known-class Aware Recognition (KAR) モジュールと、既知クラスの尤度に基づいて適応損失を再重み付けする Known-class Aware Adaptation (KAA) モジュールを統合しており、Syn2Real-O、Office-31、Digits データセットにおいて、最先端の手法を大きく上回る性能を発揮する。

ABSTRACT

Existing domain adaptation methods generally assume different domains have the identical label space, which is quite restrict for real-world applications. In this paper, we focus on a more realistic and challenging case of open set domain adaptation. Particularly, in open set domain adaptation, we allow the classes from the source and target domains to be partially overlapped. In this case, the assumption of conventional distribution alignment does not hold anymore, due to the different label spaces in two domains. To tackle this challenge, we propose a new approach coined as Known-class Aware Self-Ensemble (KASE), which is built upon the recently developed self-ensemble model. In KASE, we first introduce a Known-class Aware Recognition (KAR) module to identify the known and unknown classes from the target domain, which is achieved by encouraging a low cross-entropy for known classes and a high entropy based on the source data from the unknown class. Then, we develop a Known-class Aware Adaptation (KAA) module to better adapt from the source domain to the target by reweighing the adaptation loss based on the likeliness to belong to known classes of unlabeled target samples as predicted by KAR. Extensive experiments on multiple benchmark datasets demonstrate the effectiveness of our approach.

研究の動機と目的

• ソースドメインとターゲットドメインの間で一部のクラスしか共有しない状況における、オープンセットドメイン適応の課題に対処すること。
• 同一のラベル空間を仮定する従来のドメイン適応手法が失敗する問題を克服すること。
• ターゲットドメインにおける既知クラスと未知クラスの区別により、モデルのロバスト性を向上させること。
• 既知クラスに属する可能性の高いラベルなしターゲットサンプルに基づいて、適応損失を再重み付けすることでドメイン適応を強化すること。
• 部分的なクラス重複と未知クラスを伴う現実的な状況でも、より優れた性能を達成すること。

提案手法

• KARE は、ソースドメインにおいて既知クラスの交差エントロピーを最小化し、未知クラスのエントロピーを最大化する二重損失を用いる。
• Known-class Aware Recognition (KAR) モジュールは、予測された信頼度とエントロピーに基づいて、ターゲットサンプルを既知または未知クラスに分類する。
• Known-class Aware Adaptation (KAA) モジュールは、KAR から得られる連続スコアを用いて適応損失を再重み付けし、既知クラスのサンプルを優先する。
• KASE は自己アンサンブルフレームワークに基づいて構築されており、KAR および KAA モジュールのエンドツーエンド学習を可能にする。
• 共有バックボーン（例：AlexNet）からの特徴表現を活用し、t-SNE 視覚化を用いて特徴分布のシフトを分析する。
• 二値重み付けに代わる連続的再重み付け戦略を採用し、未知クラスターゲットサンプルによる悪影響を低減する。

実験結果

リサーチクエスチョン

• RQ1 オープンセットドメイン適応の下で、ターゲットドメインにおける既知クラスと未知クラスを効果的に区別するにはどうすればよいか？
• RQ2 既知クラスの尤度に基づいて適応損失を再重み付けすることで、ドメイン適応の性能が向上するか？
• RQ3 ラベル空間が部分的に重複する状況において、提案手法 KASE はドメインシフトをどのように処理するか？
• RQ4 KAR および KAA モジュールの統合は、既存のオープンセットおよびクローズドセットドメイン適応手法を上回るか？
• RQ5 連続的再重み付け戦略は、未知クラスサンプルによる負の転送をどの程度軽減できるか？

主な発見

• Syn2Real-O データセットにおいて、KASE は A→R の設定で 87.0% の正確度を達成し、前回の最先端手法（86.9%）を上回った。
• Office-31 では、6つのすべてのドメイン転送設定において最高の平均正確度 81.8% を達成し、先行手法を上回った。
• Digits データセットでは、KASE が平均 84.8% の正確度を達成し、AODA が報告した最先端の 82.8% を上回った。
• t-SNE を用いた可視化により、既知クラスの特徴が明確に分離・凝集しているのに対し、未知クラスのサンプルはエントロピーが高く、分散していることが確認された。
• アブレーションスタディの結果、KAR における未知クラスのエントロピー最大化が一般化性能を著しく向上させ、誤分類を低減した。
• KAA における連続的再重み付け戦略により、特に D→A や W→A のような高いシフトが生じる状況でも、より安定かつ効果的な適応が達成された。