[論文レビュー] A Unified View of Label Shift Estimation

Saurabh Garg, Yifan Wu+2 more|arXiv (Cornell University)|Mar 17, 2020

Machine Learning and Data Classification参考文献 27被引用数 10

ひとこと要約

本稿は、Black Box Shift Estimation (BBSE) と Maximum Likelihood Label Shift (MLLS) の2つの代表的なラベルシフト推定手法を統一し、両者の主な相違点が目的関数ではなくキャリブレーションの粒度にあることを示した。MLLSの理論的整合性条件を確立し、実験的に示されたMLLSの優れた性能は、最適化目的関数のためではなく、より細かいキャリブレーションに起因することを明らかにした。実験では、最大で10倍のMSE低減を達成した。

ABSTRACT

Under label shift, the label distribution p(y) might change but the class-conditional distributions p(x|y) do not. There are two dominant approaches for estimating the label marginal. BBSE, a moment-matching approach based on confusion matrices, is provably consistent and provides interpretable error bounds. However, a maximum likelihood estimation approach, which we call MLLS, dominates empirically. In this paper, we present a unified view of the two methods and the first theoretical characterization of MLLS. Our contributions include (i) consistency conditions for MLLS, which include calibration of the classifier and a confusion matrix invertibility condition that BBSE also requires; (ii) a unified framework, casting BBSE as roughly equivalent to MLLS for a particular choice of calibration method; and (iii) a decomposition of MLLS's finite-sample error into terms reflecting miscalibration and estimation error. Our analysis attributes BBSE's statistical inefficiency to a loss of information due to coarse calibration. Experiments on synthetic data, MNIST, and CIFAR10 support our findings.

研究の動機と目的

• 実験的に優れた性能を示すが、形式的な整合性解析が不足しているMaximum Likelihood Label Shift (MLLS)推定器の理論的特徴付けを目的とする。
• BBSEとMLLSを共通の枠組みで統一し、両者の相違点がキャリブレーション手法と目的関数の違いに限ることを明らかにする。
• MLLSの有限標本誤差を、キャリブレーション誤差と推定誤差に分解し、統計的非効率の原因を同定する。
• BBSEに比べて理論的保証が強くあるにもかかわらず、なぜMLLSにBias-Corrected Temperature Scaling (BCTS) を用いた場合に実験的に優れるのかを説明する。
• ラベルシフト推定の性能向上に寄与するキャリブレーションの粒度に関する実用的指針を提供する。

提案手法

• BBSEとMLLSを両方ともキャリブレーションに基づく推定器として捉える統一的フレームワークを提案し、BBSEは誤差行列に基づくキャリブレーションに対応する。
• MLLSの整合性の十分条件を確立：分類器の標準的キャリブレーションと誤差行列の可逆性。
• 誤差行列によるキャリブレーションを用いる場合、MLLSはBBSEと同等であるが、BCTSのようなより細かい粒度のキャリブレーションを用いる場合に相違が生じることを示した。
• MLLSの有限標本誤差分解を導出し、検証データによる再キャリブレーションに起因する誤差と最小達成可能誤差（キャリブレーション誤差）と、推定誤差に分離した。
• MNISTおよびCIFAR-10を含む合成データおよび実世界のデータセットを用い、キャリブレーションの粒度とシフトの大きさを変化させながら理論的主張を実証した。
• 後処理キャリブレーションとしてBCTSを適用し、BCTSを用いたMLLSをBBSE、RLLS、および誤差行列キャリブレーションを用いたMLLS-CMと比較した。

実験結果

リサーチクエスチョン

• RQ1 MLLS推定器はどのような条件下でラベルシフト推定に対して整合的となるか？
• RQ2 BBSEに比べて理論的保証が強くあるにもかかわらず、なぜMLLSにBCTSキャリブレーションを適用した場合に実験的に優れるのか？
• RQ3 キャリブレーション手法の選択がラベルシフト推定器の性能にどのように影響するか？
• RQ4 MLLSとBBSEを一つの理論的枠組みで統一できるか？
• RQ5 MLLSの有限標本誤差構造は何か？ また、キャリブレーションの粒度にどのように依存するか？

主な発見

• MLLSは分類器が標準的キャリブレーションされており、誤差行列が可逆である場合に整合的である。これはBBSEに対しても同様に必要とされる条件である。
• BBSEの統計的非効率性は、誤差行列による粗いキャリブレーションに起因し、より細かい粒度のキャリブレーションに比べて情報損失が生じるためである。
• BCTSキャリブレーションを用いたMLLSは、極めて強いシフト下でBBSEやRLLSと比較して最大で10倍のMSE低減を達成した。特にターゲットデータサイズが増加するにつれて顕著であった。
• 誤差行列キャリブレーションを用いたMLLS-CMは、すべての設定でBBSEとほぼ同一の性能を示し、性能差が目的関数ではなくキャリブレーションの粒度に起因することを確認した。
• 合成データでは、キャリブレーションのボックス数を増やすことでMSEが低下し、ヘッセ行列の最小固有値も上昇した。これは理論的誤差分解の妥当性を裏付けた。
• MLLS-CMのヘッセ行列の最小固有値は0.195であり、4個以上のボックスを持つバイナリ予測器よりも顕著に低く、これが性能の悪さを説明する。