[論文レビュー] Testing for Outliers with Conformal p-values

Stephen Bates, Emmanuel J. Candès+3 more|RePEc: Research Papers in Economics|Apr 16, 2021

Advanced Statistical Process Monitoring被引用数 6

ひとこと要約

本稿は、有限標本の妥当性と正の依存性を備えたp値を生成する非パラメトリックな外れ値検出のためのコンフォーマル推論フレームワークを提案する。これにより、マージナルな妥当性のもとで正確な誤発見率（FDR）制御が可能となる。さらに、訓練データに関して条件付きで妥当であり、テスト点間で互いに独立であるp値を生成する新しい手法を導入し、外れ値検出の多重仮説検定における第一種誤り率の保証を著しく強化する。

ABSTRACT

This paper studies the construction of p-values for nonparametric outlier detection, taking a multiple-testing perspective. The goal is to test whether new independent samples belong to the same distribution as a reference data set or are outliers. We propose a solution based on conformal inference, a broadly applicable framework which yields p-values that are marginally valid but mutually dependent for different test points. We prove these p-values are positively dependent and enable exact false discovery rate control, although in a relatively weak marginal sense. We then introduce a new method to compute p-values that are both valid conditionally on the training data and independent of each other for different test points; this paves the way to stronger type-I error guarantees. Our results depart from classical conformal inference as we leverage concentration inequalities rather than combinatorial arguments to establish our finite-sample guarantees. Furthermore, our techniques also yield a uniform confidence bound for the false positive rate of any outlier detection algorithm, as a function of the threshold applied to its raw statistics. Finally, the relevance of our results is demonstrated by numerical experiments on real and simulated data.

研究の動機と目的

• 外れ値検出に用いられる1クラス分類モデルにおける統計的保証の欠如に対処すること。
• 有限標本設定下で妥当であり、多重仮説検定手順に適したp値を開発すること。
• 複数の新しいデータポイントをテストする際の外れ値検出における誤発見率（FDR）の制御を保証すること。
• 訓練データに関して条件付きで妥当であり、テスト点間で互いに独立であるp値を構築することにより、誤り率制御を強化すること。
• 任意の外れ値検出アルゴリズムのしきい値関数としての、誤検出率の均一な信頼区間を提供すること。

提案手法

• 任意の1クラス分類器を外れ値検出のためのp値生成器に変換するために、コンフォーマル推論を活用する。
• 古典的なコンフォーマル推論とは異り、有限標本の保証を導出するために組み合わせ的議論の代わりに濃度不等式を用いる。
• テスト点間で条件付きで妥当かつ互いに独立であるp値を計算する新しい手順を導入する。
• 提案されたp値を用いて誤発見率（FDR）を制御するためにBenjamini-Hochberg手順を適用する。
• 原始スコアのしきい値に基づいて、任意の外れ値検出アルゴリズムの誤検出率に対する均一な信頼区間を導出する。
• 2分割アプローチを採用：分類器を半数のデータで学習し、残りの半数でp値を補正することで妥当性を保証する。

Figure 1: Visualization of the joint distribution of the conformal p-values. The distribution of $\hat{s}(x)$ is the same for calibration and inlier test points. The conformal p-value for each test point is the number of calibration points to its left, divided by the total number of calibration poin

実験結果

リサーチクエスチョン

• RQ1 有限標本の保証のもとで、コンフォーマルp値を用いて外れ値検出における誤発見率（FDR）を制御できるか？
• RQ2 複数のテスト点において標準的なコンフォーマルp値の依存構造は何か？ そしてFDR制御にどのように影響するか？
• RQ3 条件付きで妥当であり、かつ互いに独立であるp値を構築できるか？ これにより第一種誤り率の制御が強化されるか？
• RQ4 任意の外れ値検出アルゴリズムの誤検出率を、そのしきい値に関して一様にバインドできるか？
• RQ5 提案手法は、既存のコンフォーマルおよび非コンフォーマルな外れ値検出手法と比較して実際の性能はいかがなものか？

主な発見

• 提案手法は、p値が正の依存性を示すものの、マージナルな妥当性のもとで正確なFDR制御を達成する。
• 新規手法は、条件付きで妥当かつ互いに独立であるp値を生成でき、標準的なコンフォーマルp値よりも強い第一種誤り率の制御を可能にする。
• 実データおよびシミュレートデータを用いた数値実験の結果、本手法はFDRを名目水準で制御しながら高い検出力（パワー）を維持することが示された。
• 誤検出率の均一な信頼区間はきつくて実用的であり、しきい値の設定に役立つ。
• CIFAR-10、MNIST、KDDCup99などのベンチマークデータセットにおいて、本手法はベースラインのコンフォーマル手法よりもFDR制御と検出力の両面で優れている。
• SVM、隔離フォレスト、LOFなど多様なモデルおよび高次元・非i.i.d.な設定を含む多様なデータタイプにおいて、本手法は頑健である。

Figure 2: Distribution of the false positive rate obtained by thresholding marginal conformal p-values at levels $\alpha=0.01$ and $\alpha=0.1$ , as a function of the number of calibration points.