[論文レビュー] OVANet: One-vs-All Network for Universal Domain Adaptation

Kuniaki Saito, Kate Saenko|arXiv (Cornell University)|Apr 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 14

ひとこと要約

OVANetは、ソースデータからのクラス間距離を用いて未知クラスの拒否に向けた動的しきい値を学習することで、手動によるハイパーパramータチューニングに依存しない、シンプルでありながら効果的なワン・フォー・アラーム（OVA）ネットワークを提案する。OVA分類器の学習と、ターゲットデータにおけるオープンセットエントロピーの最小化により、複数のベンチマークで最先端の性能を達成し、ラベル分布の変化に対しても安定性を示す。

ABSTRACT

Universal Domain Adaptation (UNDA) aims to handle both domain-shift and category-shift between two datasets, where the main challenge is to transfer knowledge while rejecting unknown classes which are absent in the labeled source data but present in the unlabeled target data. Existing methods manually set a threshold to reject unknown samples based on validation or a pre-defined ratio of unknown samples, but this strategy is not practical. In this paper, we propose a method to learn the threshold using source samples and to adapt it to the target domain. Our idea is that a minimum inter-class distance in the source domain should be a good threshold to decide between known or unknown in the target. To learn the inter-and intra-class distance, we propose to train a one-vs-all classifier for each class using labeled source data. Then, we adapt the open-set classifier to the target domain by minimizing class entropy. The resulting framework is the simplest of all baselines of UNDA and is insensitive to the value of a hyper-parameter yet outperforms baselines with a large margin.

研究の動機と目的

• 未知クラスの拒否に課題を提起するユニバーサル・ドメインアダプテーション（UNDA）における未知サンプルに対する教師なし状況を解決すること。
• バリデーションデータや事前比に基づく手動しきい値チューニングに依存しない方法を排除すること。これは現実世界の設定では実用的でない。
• ソースデータから得られる最小クラス間距離を、既知クラスと未知クラスを区別する原理的で妥当なしきい値として学習する方法を開発すること。
• 1つの主要ハイパーパramータのみを必要とする、スケーラブルで、ロバストかつシンプルなフレームワークを、オープンセットおよびユニバーサル・ドメインアダプテーションに適用すること。

提案手法

• 各ソースクラスに対してワン・フォー・アラーム（OVA）分類器を訓練し、各分類器がクラス間距離を用いて1つのクラスとそれ以外を区別するように学習する。
• すべてのOVA分類器における最小クラス間距離を、ターゲットサンプルが既知クラスに属するか、それとも未知クラスとして分類されるかを判断する学習済みしきい値として使用する。
• OVA分類器の効率的かつ効果的な更新のため、各ソースサンプルに対して1つの正例クラスと1つのハードネガティブクラスを用いたハードネガティブ分類器サンプリングを実装する。これにより、一般化性能が向上する。
• オープンセットエントロピー最小化（OEM）を適用し、OVA分類器出力のエントロピーを最小化することで、ラベルなしターゲットサンプルを整列させ、既知または未知クラスに対する自信のある予測を促進する。
• ソース分類損失とOEM損失のバランスを取る1つのトレードオフハイパーパラメータを用いて、モデルをエンドツーエンドで最適化する。
• 学習済みのOVAしきい値を活用し、ラベルなしターゲットデータや合成未知データを必要とせずに、自動的かつデータ駆動型の未知サンプル拒否を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインにおける最小クラス間距離が、ターゲットドメインで既知クラスと未知クラスを区別するための信頼性があり、学習可能なしきい値として機能するか？
• RQ2 ラベルなしターゲットデータや手動しきい値チューニングに依存せずに、未知サンプルを拒否する方法をモデルがどのように学習できるか？
• RQ3 クラス間距離学習を組み込んだワン・フォー・アラーム分類フレームワークは、ユニバーサル・ドメインアダプテーションにおける異なるラベル分布に対して、よりロバストな性能を発揮できるか？
• RQ4 学習済みのOVAしきい値と組み合わせたオープンセットエントロピー最小化は、ターゲットサンプルを既知または未知クラスに効果的に整列できるか？
• RQ5 ヒューリスティックまたはバリデーションベースのしきい値チューニングを用いる既存のUNDA手法と比較して、提案手法は性能と安定性において優れているか？

主な発見

• オープン部分ドメインアダプテーションのOfficeHomeベンチマークにおいて、OVANetはすべての既存ベースラインを上回り、Hスコア71.8%を達成した。これは、次に良い手法の68.8%を大きく上回る。
• オープンセットドメインアダプテーションのOfficeデータセットにおいて、OVANetはHスコア76.1%を達成し、ベースラインのソフトマックス手法（65.5%）やエントロピーに基づく手法（66.8%）を顕著に上回った。
• オープンセット認識ベンチマークでは、AUROCが80.5%を記録し、既知クラスと未知クラスの間の良好な分離を示した。
• OVANetは、共有クラスと未知クラスの割合の変化に対しても高いロバスト性を示し、多様なドメインシフトおよびカテゴリーシフトのシナリオにおいても強力な性能を維持した。
• ハイパーパラメータの選択に対して非常に感受性が低く、ソース分類損失とオープンセットエントロピー最小化のバランスを制御する1つの主要ハイパーパラメータのみを必要とした。
• アブレーションスタディにより、OVA分類器出力がソフトマックスやエントロピーに基づく出力よりも優れた不確実性キャリブレーションを提供することが確認され、AUROCスコアが常にベースラインを上回った。