[論文レビュー] cutpointr: Improved Estimation and Validation of Optimal Cutpoints in R

Christian Thiele, Gerrit Hirschfeld|arXiv (Cornell University)|Feb 21, 2020

Statistical Methods and Inference参考文献 16被引用数 36

ひとこと要約

cutpointr パッケージは、ブートストラップとさまざまな平滑化技術を用いて、最適な二値カットポイントを推定し、アウト・オブ・サンプルの性能を評価する堅牢な方法を R で提供します。

ABSTRACT

'Optimal cutpoints' for binary classification tasks are often established by testing which cutpoint yields the best discrimination, for example the Youden index, in a specific sample. This results in 'optimal' cutpoints that are highly variable and systematically overestimate the out-of-sample performance. To address these concerns, the cutpointr package offers robust methods for estimating optimal cutpoints and the out-of-sample performance. The robust methods include bootstrapping and smoothing based on kernel estimation, generalized additive models, smoothing splines, and local regression. These methods can be applied to a wide range of binary-classification and cost-based metrics. cutpointr also provides mechanisms to utilize user-defined metrics and estimation methods. The package has capabilities for parallelization of the bootstrapping, including reproducible random number generation. Furthermore, it is pipe-friendly, for example for compatibility with functions from tidyverse. Various functions for plotting receiver operating characteristic curves, precision recall graphs, bootstrap results and other representations of the data are included. The package contains example data from a study on psychological characteristics and suicide attempts suitable for applying binary classification algorithms.

研究の動機と目的

• サンプル内最適化を超えた最適カットポイントの堅牢な推定を動機づける。
• ブートストラップ検証によるアウト・オブ・サンプル性能の評価手法を提供する。
• tidyverse のワークフローと統合するための、スケーラブルで整然としたパイプフレンドリーなツールを提供する。
• さまざまな二値分類指標と、ユーザー定義の指標/手法をサポートする。

提案手法

• 識別能力の指標を定義する（例：Youden 指標、Se/Sp、PPV/NPV、その他）。
• 複数のカットポイント推定法を提供する：非パラメトリックな経験的方法、LOESS 平滑化、スプライン平滑化、GAM 平滑化、ブートストラップ、カーネル法、パラメトリック正規法。
• ユーザー定義の指標と推定法を許可し、整然としたデータフレームで結果を返す。
• 再現性のある乱数で並列化ブートストラッピングを有効にし、tidyverse パイプラインと統合する。
• ROC 曲線と、ブートストラップ結果、ROC/PR 曲線、その他の表現を描画するオプションを返す。

実験結果

リサーチクエスチョン

• RQ1 最適カットポイントを、さまざまな分布やサンプルサイズを跨いで堅牢に推定するにはどうすればよいか？
• RQ2 ブートストラップ検証は、カットポイントのアウト・オブ・サンプル性能推定の信頼性を向上させるか？
• RQ3 さまざまなデータ生成シナリオ下で、どの推定法（経験的、平滑化、GAM、ブートストラップ、カーネル、正規法）が最も良い性能を示すか？
• RQ4 カットポイント推定をパイプラインに優しく、大規模データセットにもスケールさせるには？
• RQ5 ユーザーが指標を柔軟に定義しても、整合したサンプル内・サンプル外の要約を得られるか？

主な発見

• 高度な手法（ブートストラップと GAM 平滑化）は、特に非正規データの場合、単純な経験的手法より一般に優れている。
• 正規法は正規性の下でよく機能するが、非正規分布では誤ったカットポイントを生む可能性がある。
• 経験的法と LOESS 法は正規データ下で誤差が大きくなる傾向があるが、他の条件では異なる性能を示す場合がある。全体として、より堅牢な手法が望ましい。
• ブートストラッピングは、チューニングパラメータを必要とせずアウト・オブ・サンプルの性能推定と変動を提供するが、並列化なしでは計算コストが高くなることがある。
• Cutpointr は並列化可能で整然とした出力を強調し、実用的な使用のために tidyverse ワークフローとスムーズに統合される。