[論文レビュー] Learning to Separate Domains in Generalized Zero-Shot and Open Set Learning: a probabilistic perspective

Hanze Dong, Yanwei Fu+4 more|arXiv (Cornell University)|Sep 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 6

ひとこと要約

この論文は、一般化ゼロショット学習およびオープンセット学習の文脈で、テストインスタンスを既知、未知、不確実なドメインに分離する確率的ドメイン分割フレームワークを提案する。ブートストラップとコルモゴロフ＝スミルノフ検定（K-S検定）を活用して意思決定境界を推定・微調整することで、不確実性を明示的にモデル化し、学習済みクラスと未学習クラスの区別を向上させ、ベンチマークデータセット上で最先端の性能を達成する。

ABSTRACT

This paper studies the problem of domain division which aims to segment instances drawn from different probabilistic distributions. Such a problem exists in many previous recognition tasks, such as Open Set Learning (OSL) and Generalized Zero-Shot Learning (G-ZSL), where the testing instances come from either seen or novel/unseen classes of different probabilistic distributions. Previous works focused on either only calibrating the confident prediction of classifiers of seen classes (W-SVM), or taking unseen classes as outliers. In contrast, this paper proposes a probabilistic way of directly estimating and fine-tuning the decision boundary between seen and novel/unseen classes. In particular, we propose a domain division algorithm of learning to split the testing instances into known, unknown and uncertain domains, and then conduct recognize tasks in each domain. Two statistical tools, namely, bootstrapping and Kolmogorov-Smirnov (K-S) Test, for the first time, are introduced to discover and fine-tune the decision boundary of each domain. Critically, the uncertain domain is newly introduced in our framework to adopt those instances whose domain cannot be predicted confidently. Extensive experiments demonstrate that our approach achieved the state-of-the-art performance on OSL and G-ZSL benchmarks.

研究の動機と目的

• 一般化ゼロショット学習およびオープンセット学習の文脈で、テストインスタンスが異なる確率的分布から来ることを考慮し、学習済みクラスと未学習クラスを区別する課題に対処すること。
• 従来の手法が学習済みクラスの予測にのみキャリブレーションを行うか、未学習クラスを外れ値として扱うが、明示的なドメインモデリングを行わないという限界を克服すること。
• クラス起源を自信を持って割り当てられないインスタンスを捉えるために、新たな不確実ドメインを導入し、耐障害性を向上させること。
• 既知ドメインと未知ドメイン間の意思決定境界を直接推定・微調整する確率的フレームワークを構築すること。
• ドメインごとに分離されたテスト空間をセグメント化し、各ドメインに特化した分類戦略を適用することで、認識性能を向上させること。

提案手法

• 本手法は、既知（学習済みクラス）、未知（新規/未学習クラス）、不確実（曖昧なインスタンス）の3ドメインに分割することで、テスト時の分布シフトをよりよくモデル化する。
• ブートストラップを用いて、学習済みクラスの分類器スコアの標本分布を推定し、信頼性の高い信頼度推定を可能にする。
• コルモゴロフ＝スミルノフ（K-S）検定を用いて、学習済みクラスのスコアの経験的分布と候補となる未知インスタンスの分布を統計的に比較し、分布の違いを検出する。
• K-S検定のp値を用いて、既知ドメインと未知ドメイン間の意思決定境界を微調整し、分離を最適化するとともに、誤検出を最小限に抑える。
• 不確実ドメインは、K-S検定が「既知」または「未知」と自信を持って分類できない信頼区間内に入るインスタンスとして動的に定義される。
• 各ドメインで分類を別々に実行する：既知ドメインと未知ドメインでは標準的な分類を適用し、不確実インスタンスは拒否するか、特別な不確実性対応戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 ゼロショットおよびオープンセット学習の文脈で、テストインスタンスを既知、未知、不確実なドメインに効果的に分離する方法は何か？
• RQ2 ブートストラップとコルモゴロフ＝スミルノフ検定を組み合わせることで、学習済みクラスと未学習クラスの間の意思決定境界を効果的に推定・微調整できるか？
• RQ3 明示的な不確実ドメインを導入することで、オープンセット学習および一般化ゼロショット学習における分類性能と耐障害性にどのような影響を与えるか？
• RQ4 従来の手法が学習済みクラスの予測にのみキャリブレーションを行うか、未学習クラスを外れ値として扱うのに対し、本手法の確率的ドメイン分割フレームワークはどのように差別化されるか？
• RQ5 本手法は、学習済みクラスの高精度を維持しつつ、未学習クラスにおける一般化性能をどの程度向上させ、誤分類を低減するか？

主な発見

• 提案手法は、一般化ゼロショット学習およびオープンセット学習の標準ベンチマークで最先端の性能を達成した。
• 明示的な不確実ドメインの導入により、誤分類されがちな曖昧なインスタンスを捉えることができ、耐障害性が顕著に向上した。
• ブートストラップの使用により、学習済みクラスの予測に対する信頼度推定が信頼性高く実現され、過信が軽減された。
• コルモゴロフ＝スミルノフ検定は、学習済みクラスと未学習クラスの間の分布シフトを検出する統計的に妥当な手法を提供し、意思決定境界の微調整を可能にした。
• 既知ドメインと未知ドメインを効果的に分離することで、本フレームワークは優れた一般化性能を示し、未学習クラスにおけるF1スコアの向上と誤差率の低減を実現した。
• 実験的結果から、確率的ドメイン分割と不確実性対応処理の組み合わせが、複数のデータセットおよび設定で一貫した性能向上をもたらすことが示された。