[論文レビュー] Prediction and outlier detection in classification problems

Leying Guan, Rob Tibshirani|arXiv (Cornell University)|May 10, 2019

Advanced Statistical Methods and Models被引用数 5

ひとこと要約

本稿では、有限標本カバレッジ保証と分布シフト下での外れ値検出を備えた多クラス分類のためのコンフォーマル予測手法BCOPSを提案する。出退し損失を最適化しながらクラスカバレッジをバランスさせることで、分布の仮定なしに分布シフト下でもロバスト性を向上させる。

ABSTRACT

We consider the multi-class classification problem when the training data and the out-of-sample test data may have different distributions and propose a method called BCOPS (balanced and conformal optimized prediction sets). BCOPS constructs a prediction set $C(x)$ as a subset of class labels, possibly empty. It tries to optimize the out-of-sample performance, aiming to include the correct class as often as possible, but also detecting outliers $x$, for which the method returns no prediction (corresponding to $C(x)$ equal to the empty set). The proposed method combines supervised-learning algorithms with the method of conformal prediction to minimize a misclassification loss averaged over the out-of-sample distribution. The constructed prediction sets have a finite-sample coverage guarantee without distributional assumptions. We also propose a method to estimate the outlier detection rate of a given method. We prove asymptotic consistency and optimality of our proposals under suitable assumptions and illustrate our methods on real data examples.

研究の動機と目的

• 訓練データとテストデータの間の分布不一致の課題に対処すること。
• テストデータが訓練データと異なる場合でも、有限標本カバレッジを保証する信頼性のある予測集合を提供する手法を開発すること。
• 入力が訓練データから大きく離れている場合に空の予測集合を返すことにより、外れ値を検出すること。
• 制約付き最適化フレームワークを通じて、誤分類損失を直接最小化することにより、サンプル外性能を最適化すること。
• 現実的なデータ分布シフト下で、理論的根拠に基づき、一貫性があり最適な予測および外れ値検出手法を提供すること。

提案手法

• BCOPSは、予測スコアの最適化を経て、空である可能性のあるクラスラベルの部分集合として予測集合 $ C(x) $ を構築する。
• 教師あり学習モデルとコンフォーマル予測を組み合わせることで、分布の仮定なしに有限標本カバレッジを保証する。
• 正しいクラスの包含と外れ値検出のバランスを取る損失関数を最適化し、誤った予測をペナルティ化するとともに、外れ値入力での予測を控えるように促進する。
• クラス間の予測スコアの経験的分位数を用いて意思決定の閾値を定義し、交換可能性のもとで有効なカバレッジを保証する。
• 主要クラスに偏らないよう、クラス間のバランスの取れた重み付けスキームを組み込む。
• テストデータにおける空の予測集合の割合に基づくプラグイン推定器を用いて、外れ値検出率を推定する。

実験結果

リサーチクエスチョン

• RQ1 テストデータの分布が訓練データと異なる場合でも、予測手法が高いカバレッジと低い誤分類損失を維持できるか？
• RQ2 分類手法は、訓練分布から大きく離れた外れ値のテストサンプルをどのように検出し、予測を控えることができるか？
• RQ3 外れ値検出も行う予測集合手法の理論的有限標本カバレッジ保証は何か？
• RQ4 分布シフト下での性能において、BCOPSは密度レベル集合と比べてどう異なるか？
• RQ5 提案手法は適切な正則性条件下で漸近的に一貫性があり、最適か？

主な発見

• BCOPSは、データに分布の仮定を一切必要とせず、有限標本カバレッジ保証を達成する。
• 適切な正則性条件下で、BCOPSはサンプル外誤分類損失を漸近的に最小化し、一貫性と最適性を示す。
• 実験的結果から、BCOPSは標準的な分類器とは異なり、外れ値のテストサンプルに対して空の予測集合を返すことで、外れ値を効果的に検出していることが示された。
• 理論的分析により、推定された予測集合カバレッジが確率的に真のカバレッジに収束することが確認され、収束速度は密度推定とバンド幅の選択に依存する。
• 低次元部分空間におけるクラス分離が生じる状況では、密度ベースの手法が適切に予測を控えないのに対し、BCOPSはそれらの状況で優れた性能を示した。
• 外れ値検出率は低バイアスで一貫して推定され、分布外データにおけるモデルの信頼性の評価が信頼できるものとなった。