[論文レビュー] Domain Adaptation under Open Set Label Shift

Saurabh Garg, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Jul 26, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿は、ラベル分布のシフトと未知クラスの出現が生じる状況下で、クラス条件付きデータ分布を保持しつつ分類器を適応させるための体系的フレームワークである、オープンセットラベルシフト下でのドメイン適応（OSLS）を導入する。本稿では、ブラックボックス予測器を用いたラベルシフト推定とPU学習を組み合わせた2段階手法PULSEを提案し、視覚、自然言語処理、医療分野のデータセットにおいて、ベースライン比で10–25%の精度向上を達成し、安定した収束保証を有する。

ABSTRACT

We introduce the problem of domain adaptation under Open Set Label Shift (OSLS) where the label distribution can change arbitrarily and a new class may arrive during deployment, but the class-conditional distributions p(x|y) are domain-invariant. OSLS subsumes domain adaptation under label shift and Positive-Unlabeled (PU) learning. The learner's goals here are two-fold: (a) estimate the target label distribution, including the novel class; and (b) learn a target classifier. First, we establish necessary and sufficient conditions for identifying these quantities. Second, motivated by advances in label shift and PU learning, we propose practical methods for both tasks that leverage black-box predictors. Unlike typical Open Set Domain Adaptation (OSDA) problems, which tend to be ill-posed and amenable only to heuristics, OSLS offers a well-posed problem amenable to more principled machinery. Experiments across numerous semi-synthetic benchmarks on vision, language, and medical datasets demonstrate that our methods consistently outperform OSDA baselines, achieving 10--25% improvements in target domain accuracy. Finally, we analyze the proposed methods, establishing finite-sample convergence to the true label marginal and convergence to optimal classifier for linear models in a Gaussian setup. Code is available at https://github.com/acmi-lab/Open-Set-Label-Shift.

研究の動機と目的

• ラベル分布のシフトと新たなクラスの出現が生じる状況下で、ドメイン不変なクラス条件付き分布を維持しつつドメイン適応を実現すること。
• 未知クラスの出現を含むターゲットラベル分布を推定し、正確なターゲット分類器を学習すること。
• ターゲットラベル分布および分類器が一意に一貫して推定可能であるための形式的同定可能性条件を確立すること。
• 任意のモデル（深層ネットワークを含む）と互換性があり、ヒューリスティック設計を回避する実用的でスケーラブルな手法を開発すること。
• 多様なデータモダリティ（視覚、自然言語処理、医療画像など）において、既存のオープンセットドメイン適応ベースラインを一貫して上回る性能を示すこと。

提案手法

• クラス条件付き密度が不変であるが、ラベル周辺分布がシフトし、未知クラスが出現する状況を想定した、ラベルシフトとPU学習を包含する形式的問題設定としてOSLSを提案。
• 同定可能性条件として、弱い正性、強い正性、分離性を導入。特に強い正性を採用することで、OSLSをk個のPU学習問題に還元する。
• PULSEを構築。第1段階ではブラックボックス予測器を用いて、既知クラス間のラベルシフトを推定。第2段階では、ソースデータを再重み付けし、未知クラス推定と分類器学習のための単一のPU学習問題を形成。
• 先行するPU学習で用いられるBBEおよびCVIR技術を活用し、混合割合を推定し、複数のPU問題にわたるバイアス蓄積に対するロバストネスを向上。
• 再重み付けされたソースデータとラベルなしターゲットデータを用いて、(k+1)クラス分類器をPU学習により学習。これにより、最小限のアーキテクチャ変更でエンドツーエンドの適応が可能。
• ブラックボックス予測器を用いることで次元の呪いを回避し、深層ニューラルネットワークを含む任意の仮説クラスをサポートする。

実験結果

リサーチクエスチョン

• RQ1 OSLS下で、ソースラベル付きデータとターゲットラベルなしデータから、未知クラスの出現頻度を含むターゲットラベル分布が一意に同定可能となる条件は何か？
• RQ2 未知クラスが存在する状況下で、ラベルシフト推定とPU学習をどのように統合することで、ターゲットラベル周辺分布およびターゲット分類器を正確に推定できるか？
• RQ3 未知クラスの出現頻度と分類精度の両方を評価した場合、ヒューリスティックなOSDAベースラインを上回る体系的アプローチが可能か？
• RQ4 提案手法のラベル周辺分布推定および分類器学習における有限標本収束特性は何か？
• RQ5 視覚、自然言語処理、医療画像を含む多様なデータモダリティにおいて、半教師あり分布シフト下で、本手法はどのようにスケーリングするか？

主な発見

• PULSEは、視覚、言語、医療データをカバーする7つの半教師ありベンチマークにおいて、最先端のOSDAベースライン比で10–25%の高いターゲットドメイン精度を達成。
• PULSEは、未知クラス推定における平均出現頻度誤差（MPE）を顕著に低減し、Entity30ではMPE = 0.008、DermNetではMPE = 0.043を達成。k-PUや他のベースラインを上回る。
• UTK Faceの年齢予測タスクでは、PULSEはMPE = 0.01で未知クラスの出現頻度を推定したのに対し、k-PUはMPE = 0.11にとどまり、推定安定性の優位性が示された。
• 訓練エポックの経過とともに、ターゲット精度および未知クラス出現頻度推定曲線において、安定的かつ優れた性能を維持した。
• ガウス分布を想定した線形モデルの設定において、有限標本収束が確立され、真のラベル周辺分布および最適分類器に収束することが示された。
• 特に未知クラス検出および未観測データへの一般化性能において、専用ベースライン（Domain Discriminator や BODA）でさえもPULSEが上回った。