[論文レビュー] Detecting and Correcting for Label Shift with Black Box Predictors

Zachary C. Lipton, Yu-Xiang Wang+1 more|arXiv (Cornell University)|Feb 12, 2018

Image Retrieval and Classification Techniques参考文献 18被引用数 110

ひとこと要約

BBSEはブラックボックス予測子を用いてラベルシフト下のテスト-ラベル分布を推定し、一貫性保証を提供し、ラベル付きテストデータなしでシフト検出と分類器補正を可能にする。

ABSTRACT

Faced with distribution shift between training and test set, we wish to detect and quantify the shift, and to correct our classifiers without test set labels. Motivated by medical diagnosis, where diseases (targets) cause symptoms (observations), we focus on label shift, where the label marginal $p(y)$ changes but the conditional $p(x| y)$ does not. We propose Black Box Shift Estimation (BBSE) to estimate the test distribution $p(y)$. BBSE exploits arbitrary black box predictors to reduce dimensionality prior to shift correction. While better predictors give tighter estimates, BBSE works even when predictors are biased, inaccurate, or uncalibrated, so long as their confusion matrices are invertible. We prove BBSE's consistency, bound its error, and introduce a statistical test that uses BBSE to detect shift. We also leverage BBSE to correct classifiers. Experiments demonstrate accurate estimates and improved prediction, even on high-dimensional datasets of natural images.

研究の動機と目的

• 訓練データとテストデータの間の分布シフトの問題を動機づけ、p(x|y)が固定され、p(y)が変化するラベルシフトに焦点を当てる。
• 固定された予測子 f とラベルなしのテストデータのみを用いて test-label 分布 q(y) を推定する方法を開発する。
• シフト推定の一貫性と誤差境界という理論保証を提供する。
• シフト検出の統計的検定への適用と、重要度重み付き ERM による分類器補正への応用を提案する。

提案手法

• 予測子 f を用い、可逆な期待混同行列を用いて w(y)=q(y)/p(y) を推定するBBSEを導入する。
• A w = b という線形系を定式化する。ここで A = C_{ŷ,y}（混同行列）であり、 b = μ̂_{ŷ}（テストデータ上の予測子の平均出力）である。
• 推定量 ŷ w = Ŵ^{-1} μ̂_{ŷ} そして μ̂_y = diag(ν̂_y) w を導出する。ν̂_y は訓練データから得る。
• 一貫性を証明する：n,m → ∞ のとき、 ŵ → w および μ̂_y → μ_y は Assumptions A.1–A.3 の下で成立する。
• 誤差境界を提供する：||ŵ−w||_2^2 ≤ (C/σ_min^2)(||w||^2 log n / n + k log m / m)。
• BBSD (Black Box Shift Detection) を p(ŷ) vs q(ŷ) の一変量二標本検定として提供し、シフト検出を行い、Type I エラー制御と検出力を保証する。
• 推定された重み ŵ を用いた重要度重み付き ERM による BBSC (Black Box Shift Correction) を説明し、縮退ケースおよび負の重みの扱いを含む。

(a) CDF of $p$ -value at $\delta=0$

実験結果

リサーチクエスチョン

• RQ1 固定された（おそらくバイアスのある）ブラックボックス予測子は、ラベルシフトの重み w(y) を未ラベルのテストデータから一貫して推定することを可能にするか？
• RQ2 BBSEは訓練情報の混同行列のみを用いて、ラベルシフトを予測子 ŷ の予測分布と共に正確に検出できるか？
• RQ3 推定されたシフトを用いて重要度重み付き ERM（BBSC）を介して下流の分類器性能を改善できるか？
• RQ4 BBSE/BBSD/BBSC はカーネルベースのアプローチ（例：KMM）と比較して高次元データでどのように性能を発揮するか？

主な発見

• BBSE は invertible な混同行列と共有された x|y 分布が与えられた場合、w(y) および q(y) の一貫した推定を提供する。
• 理論的な誤差境界は、推定の精度が n,m の増加と混同行列の最小特異値 σ_min に依存することを示す。
• BBSD は MNIST におけるさまざまなシフト強度で、カーネル二標本検定よりも高い検出力を持ちつつ Type I エラーを制御できる。
• BBSE は KMM よりも精度が高く、高次元データ（例：MNIST/CIFAR）へのスケーリングが良く、実用的なシフト補正を可能にする。
• BBSC は推定された重みを用いてラベルシフト下のベンチマークデータセットで分類器性能を改善し、ソフト化や統合クラス適応を通じて縮退混同行列に対して頑健性を持つ。

(b) CDF of $p$ -value at $\delta=0.6$