[論文レビュー] Open Set Domain Adaptation By Novel Class Discovery

Jingyu Zhuang, Ziliang Chen+3 more|arXiv (Cornell University)|Mar 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本論文は、オープンセットドメイン適応（OSDA）のための新規手法Self-supervised Class-Discovering Adapter（SCDA）を提案する。SCDAは、ターゲットデータに存在する暗黙の新規クラスを特定する一方で、それらを単一の「未知」クラスとして扱う従来のアプローチを回避する。SCDAは暗黙のクラス発見とドメイン適応特徴学習を交互に実行し、OSDAベンチマークで最先端の性能を達成するとともに、新規クラスの数の高精度推定も実現する。

ABSTRACT

In Open Set Domain Adaptation (OSDA), large amounts of target samples are drawn from the implicit categories that never appear in the source domain. Due to the lack of their specific belonging, existing methods indiscriminately regard them as a single class unknown. We challenge this broadly-adopted practice that may arouse unexpected detrimental effects because the decision boundaries between the implicit categories have been fully ignored. Instead, we propose Self-supervised Class-Discovering Adapter (SCDA) that attempts to achieve OSDA by gradually discovering those implicit classes, then incorporating them to restructure the classifier and update the domain-adaptive features iteratively. SCDA performs two alternate steps to achieve implicit class discovery and self-supervised OSDA, respectively. By jointly optimizing for two tasks, SCDA achieves the state-of-the-art in OSDA and shows a competitive performance to unearth the implicit target classes.

研究の動機と目的

• OSDAにおける一般的な手法である、すべての分布外ターゲットサンプルを単一の「未知」クラスとして扱う慣習に挑戦する。
• 暗黙のターゲットカテゴリ間のクラス内構造を無視することで生じるクラスタ仮説下での特徴の混同という悪影響を是正する。
• ラベルなしターゲットデータにおける暗黙のクラスの数と分布を発見する自己教師付きフレームワークを開発する。
• 発見された暗黙のクラスに基づいて分類器を再構築し、モデルを繰り返し最適化することでOSDA性能を向上させる。
• 未知のターゲットサンプルの内部構造を発見することで、決定境界付近での一般化性能の向上と性能低下の低減が達成されることを示す。

提案手法

• 初期段階で、未知のターゲットサンプルを既知のクラスから分離するために adversarial pre-training を適用する。
• 未知のクラス数を推定し、それに応じてサンプルをクラスタリングする、暗黙のクラス発見のための非教師付きアルゴリズムを設計する。
• 発見された暗黙のクラスを単一の「未知」クラスではなく、別々のカテゴリとして扱えるように分類器を再構築する。
• 暗黙のクラス発見とモデルのファインチューニングを交互に繰り返し、特徴の分離度と分類精度を段階的に向上させる。
• 発見されたクラスからの自己教師付きの偽ラベルを活用し、真のラベルが不要な状態でモデルを更新する。
• 繰り返しの最適化により、クラス発見の正確性とドメイン適応性能の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 未知のターゲットサンプルの内部構造を発見することで、それらを単一の「未知」クラスとして扱う場合と比較して、OSDA性能が向上するか？
• RQ2 自己教師付き手法は、ターゲットドメインにおける暗黙の新規クラスの数をどの程度正確に推定できるか？
• RQ3 発見されたクラスの繰り返し最適化は、より良い特徴の分離度と分類性能をもたらすか？
• RQ4 ノイズが多く、クラスが不均衡な現実世界のターゲットドメイン設定下で、SCDAはどの程度の性能を示すか？
• RQ5 真のクラス数の正確な推定と繰り返しのモデル最適化の、最先端のOSDA達成に及ぼす相対的寄与度は何か？

主な発見

• SCDAは3つのOSDAベンチマークで最先端の性能を達成し、OfficeHomeからDomainNetへの移行において平均55.3%のOS精度を記録。既存のSoTA手法（SHOT: 54.3%、STA: 48.2%）を上回る。
• Office-31データセットでは、SCDAが未知クラスの数を平均誤差0.9で推定し、DTC（6.1）やSC（4.2）を大きく上回る。
• 297個の真の未知クラスを含む挑戦的なDomainNet⋆ベンチマークでは、SCDAが平均誤差58.5でクラス数を推定し、高複雑度環境下でも堅牢性を示す。
• アブレーションスタディの結果、単一の「未知」クラスとして扱うのではなく暗黙のクラスを発見することで性能が向上し、真のクラス数を推定した上での繰り返し最適化により、真のクラス数が与えられた場合に近い性能が達成された。
• 現実世界のノイズが多く、クラスが不均衡な状況（例：OfficeHomeからDomainNet⋆への移行）において、SCDAはより速い収束と高い上限性能を示す。
• 可視化と分析により、SCDAが未知クラス内のクラス内構造を保持することで、特に決定境界付近で既知クラスと未知クラスの特徴の混同を低減していることが確認された。