[論文レビュー] Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings

Ambrus Tamás, Balázs Csanád Csáji|arXiv (Cornell University)|Mar 8, 2021

Control Systems and Identification参考文献 25被引用数 2

ひとこと要約

本稿では、条件付きカーネル平均埋め込みを用いて、二値分類における回帰関数の分布フリーな仮説検定を2つ提案する。候補となる回帰関数に基づいてラベルを再サンプリングし、一貫した推定器を活用することで、任意の標本サイズにおいて正確な第一種過誤の制御が保証され、漸近的整合性を達成する。これにより、標本サイズが増加するにつれて第二種過誤の確率が0に収束することが保証される。

ABSTRACT

In this paper we suggest two statistical hypothesis tests for the regression function of binary classification based on conditional kernel mean embeddings. The regression function is a fundamental object in classification as it determines both the Bayes optimal classifier and the misclassification probabilities. A resampling based framework is presented and combined with consistent point estimators of the conditional kernel mean map, in order to construct distribution-free hypothesis tests. These tests are introduced in a flexible manner allowing us to control the exact probability of type I error for any sample size. We also prove that both proposed techniques are consistent under weak statistical assumptions, i.e., the type II error probabilities pointwise converge to zero.

研究の動機と目的

• 最小限の分布仮定のもとで有効な、二値分類における回帰関数の仮説検定を開発すること。
• 任意の有限標本サイズにおいて、第一種過誤確率の正確かつ非漸近的な制御を保証すること。
• 漸近的整合性を達成し、標本サイズが増加するにつれて第二種過誤確率が0に収束することを保証すること。
• 分類モデルにおける不確実性の定量化と信頼領域の構築のためのフレームワークを提供すること。

提案手法

• 再帰的ヒルバート空間（RKHS）における回帰関数の表現に、条件付きカーネル平均埋め込みを用いる。
• 帰無仮説の下で入力分布を保ちつつ、ラベルをランダムに再配置する再サンプリングに基づくフレームワークを採用する。
• 再サンプルデータから得られる候補関数のうち、真の回帰関数のランクに基づいて検定統計量を構築する。
• 2つの異なるアプローチを適用する：1つはベクトル値カーネル技術（VVKT）を用い、もう1つは条件付き確率の点推定（PET）を用いる。
• 条件付きカーネル平均マップの一貫した推定器を実装し、漸近的妥当性を確保する。
• ユーザーが指定する有意水準 q/m を用いて棄却域を定義し、すべての n に対して第一種過誤確率が正確に q/m となる。

実験結果

リサーチクエスチョン

• RQ1 特定のパラメトリックな分布形を仮定せずに、二値分類における回帰関数の仮説検定を構築できるか？
• RQ2 任意の有限標本サイズにおいて、第一種過誤確率の正確な制御をどのように確保できるか？
• RQ3 提案された検定は強い漸近的整合性を維持できるか、すなわち標本サイズが増加するにつれて第二種過誤確率が0に収束するか？
• RQ4 再サンプリングとカーネル埋め込みは、分類モデルにおける分布フリー推論を可能にする役割を果たすか？

主な発見

• 提案された仮説検定は、正確な非漸近的第一種過誤の制御を達成する：任意の標本サイズ n に対して、第一種過誤の確率は正確に q/m である。
• 対立仮説の下では、極限において検定は帰無仮説を正しく棄却する確率が1となる。これは、誤った回帰関数がほとんど surely 有限回しか受け入れられないことを意味する。
• 標本サイズ n が無限大に近づくにつれて、第二種過誤確率は点ごとに0に収束する。これは漸近的整合性を示している。
• 数値シミュレーションにより、手法の整合性が確認され、真の回帰関数のランクが標本サイズが増加するにつれて高くなる傾向が明確に示された。
• kNN やガウスカーネルに基づく推定器を含む、さまざまな推定手法に対してもロバストである。また、n=50 のような小さな標本に対しても良好な性能を示した。
• このフレームワークは不確実性の定量化をサポートでき、分類モデルにおける信頼領域の構築の基盤として利用可能である。