[論文レビュー] Regression with reject option and application to kNN

Christophe Denis, Mohamed Hebiri+1 more|arXiv (Cornell University)|Jun 30, 2020

Statistical Methods and Inference参考文献 4被引用数 7

ひとこと要約

本稿では、条件付き分散で測定される不確実性がしきい値を超えた場合に予測を控える「拒否オプション」を備えた統計的に妥当な回帰フレームワークを提案する。予測の不確実性を条件付き分散で測定し、その値がしきい値を超えると予測を控える。ラベル付きデータを用いて回帰関数と分散関数を推定する2段階の手順を提案し、ラベルなしデータを用いて拒否率をキャリブレーションすることで、kNNを用いた場合に近似的に最適な性能を達成し、緩い条件下でも収束速度を導出する。

ABSTRACT

We investigate the problem of regression where one is allowed to abstain from predicting. We refer to this framework as regression with reject option as an extension of classification with reject option. In this context, we focus on the case where the rejection rate is fixed and derive the optimal rule which relies on thresholding the conditional variance function. We provide a semi-supervised estimation procedure of the optimal rule involving two datasets: a first labeled dataset is used to estimate both regression function and conditional variance function while a second unlabeled dataset is exploited to calibrate the desired rejection rate. The resulting predictor with reject option is shown to be almost as good as the optimal predictor with reject option both in terms of risk and rejection rate. We additionally apply our methodology with kNN algorithm and establish rates of convergence for the resulting kNN predictor under mild conditions. Finally, a numerical study is performed to illustrate the benefit of using the proposed procedure.

研究の動機と目的

• 誤った予測が有害な影響を及ぼす可能性がある高リスクな回帰状況（例：医療診断）に対処すること。
• 制御可能な拒否率を備えた統計的に妥当な回帰手法を開発し、予測の信頼性が低い場合に予測を控えることを可能にすること。
• 分類における拒否オプションフレームワークを回帰に拡張し、不確実性の尺度として条件付き分散を活用すること。
• 任意の回帰推定器（kNNを含む）に適用可能な汎用的でプラグイン互換性のある手順を提供すること。
• 回帰関数と分散関数の滑らかさに関する最小限の仮定のもとで、kNNに基づく予測器の収束速度を導出すること。

提案手法

• 予測の不確実性を各入力で定量化する条件付き分散関数をしきい値化することで、拒否オプション付きの最適予測子が導出される。
• 2段階の推定手順を提案：まず、ラベル付きデータ上で回帰関数と条件付き分散関数を推定する。次に、固定された拒否率を満たすように、ラベルなしデータを用いて拒否しきい値をキャリブレーションする。
• ラベル付きデータによるモデル推定とラベルなしデータによる拒否率制御を組み合わせた半教師付きアプローチを採用する。
• この手順が、リスクおよび拒否率の両面で最適予測子と漸近的に同等であることが示された。
• kNNに対しては、回帰関数と分散関数の滑らかさに関する緩い正則性条件のもとで、得られる予測子の収束速度が確立された。
• 理論的分析には、ピーリング論法、重尾確率変数のモーメントバウンド、Wasserstein距離表現などの道具が用いられた。

実験結果

リサーチクエスチョン

• RQ1 固定された拒否率を満たす回帰の最適ルールは何か？ そして、それは条件付き分散関数の観点からどのように表現できるか？
• RQ2 最適拒否オプション予測子を近似する実用的で計算効率の良い手順をどのように設計できるか？
• RQ3 提案手法は、リスクおよび拒否率の両面で最適予測子に非常に近い性能を達成できるか？
• RQ4 提案された拒否オプションフレームワークのもとで、kNNに基づく予測器の収束速度をどのように導出できるか？
• RQ5 実際の応用において、標準的な回帰手法（拒否なし）と比較して、本手法はどのように性能を発揮するか？

主な発見

• 固定された拒否率を満たす最適予測子は、所望の拒否率によって定まるレベルで条件付き分散関数をしきい値化することに等しいことが示された。
• 提案された2段階手順は、緩い仮定のもとで、最適予測子とリスクおよび拒否率の両面でほぼ区別できない性能を達成した。
• kNNに基づく拒否オプション付き予測子は、回帰関数の滑らかさパラメータ $ \beta $ を用いて、リスクの収束速度が $ n^{-(\beta+1)/(d+2)} $ のオーダーで達成された。
• 従来の研究とは異なり、マージン型の仮定や推定器に対する強い滑らかさ条件を必要としないため、より広範に適用可能である。
• 数値実験により、高不確実性領域での予測控除が実際の利点をもたらすことが示された。
• 有限標本設定における頑健性を保証するため、尾確率バウンドやピーリング論法などの高度な道具を用いて理論的保証が確立された。