[論文レビュー] The Brier Score under Administrative Censoring: Problems and Solutions

Håvard Kvamme, Ørnulf Borgan|arXiv (Cornell University)|Dec 18, 2019

Statistical Methods and Inference参考文献 19被引用数 4

ひとこと要約

この論文は、censoring timesが既知である行政的censoring下での逆確率のcensoring重み付き（IPCW）Brierスコアに重大な欠陥が存在することを特定している—censoring timesが予測可能である場合には偏りが生じ、誤解を招く結果となる。これを是正するため、著者らはcensoring分布の推定を回避し、行政的censoring下でも有効であり、特に機械学習応用（例：顧客離脱予測）における生存モデルの信頼性ある性能評価を可能にする、新しい評価指標「行政的Brierスコア」を提案する。

ABSTRACT

The Brier score is commonly used for evaluating probability predictions. In survival analysis, with right-censored observations of the event times, this score can be weighted by the inverse probability of censoring (IPCW) to retain its original interpretation. It is common practice to estimate the censoring distribution with the Kaplan-Meier estimator, even though it assumes that the censoring distribution is independent of the covariates. This paper discusses the general impact of the censoring estimates on the Brier score and shows that the estimation of the censoring distribution can be problematic. In particular, when the censoring times can be identified from the covariates, the IPCW score is no longer valid. For administratively censored data, where the potential censoring times are known for all individuals, we propose an alternative version of the Brier score. This administrative Brier score does not require estimation of the censoring distribution and is valid even if the censoring times can be identified from the covariates.

研究の動機と目的

• 行政的censoring設定下でcensoring timesが予測可能である場合に、IPCW Brierスコアに生じるバイアスを特定・診断すること。
• 機械学習で一般的に用いられる二値分類器が、予測性能が生存モデルに劣っているにもかかわらず、このバイアスの影響で誤って優れたIPCW Brierスコアを達成する理由を示すこと。
• censoring分布の推定に依存しないが、行政的censoring下でも有効である新しい評価指標を開発すること。
• 特にニューラルネットワークや機械学習手法を用いた生存分析における、時間発生予測の評価に、IPCWに基づく指標の代替として堅牢で実用的な代替案を提供すること。

提案手法

• censoring分布の推定を必要とせず、既知のcensoring times $C^*_i$ を直接利用する非IPCW代替指標として、行政的Brierスコアを提案する。
• 行政的Brierスコアを、予測生存確率と観測されたイベント指標との平均二乗誤差として定義し、既知の行政的censoring timesでのみ補正する。
• censoring times $C^*_i > t$ のときには、行政的Brierスコアの最小化子が真の生存関数 $S_i(t)$ に一致し、それ以外の場合は0となることを示し、共変量依存censoring下でも有効性を保証する。
• censoredデータ上で学習された二値分類器（BCE法）が最小化する損失関数の最小化子が、行政的censoring下でIPCW Brierスコアと等価であることを示し、バイアスの原因を説明する。
• censoringの予測可能性が変化する条件下で、IPCW Brierスコアと提案された行政的Brierスコアを比較するため、シミュレーションと実世界のKKBox離脱データセットを用いる。
• 行政的Brierスコアが非IPCW損失関数の最小化子と理論的・実証的に同等であることを確立し、その有効性と頑健性を証明する。

実験結果

リサーチクエスチョン

• RQ1 行政的censoring設定下でcensoring times $C^*_i$ が共変量から予測可能である場合、IPCW Brierスコアは偏りを生じるか？
• RQ2 なぜ二値分類器は、予測精度が劣っているにもかかわらず、IPCW Brierスコア評価では生存モデルを上回ることが多いのか？
• RQ3 censoring分布の推定を回避し、行政的censoring下でも有効なBrierスコアの変種を構築できるか？
• RQ4 シミュレーションおよびcensoring timesが既知の実データにおいて、行政的BrierスコアはIPCW Brierスコアと比較してどのように性能を発揮するか？

主な発見

• censoring times $C^*_i$ が共変量から予測可能である場合、IPCW Brierスコアは偏りを生じ、二値分類器に対して誤って好意的なスコアを示す。
• censoredデータ上で学習された二値分類器（BCE法）が最小化する損失関数の最小化子は、行政的censoring下でIPCW Brierスコアと等価であるため、このバイアスがそのスコアの上昇を説明できる。
• 提案された行政的Brierスコアはcensoring分布の推定を必要とせず、censoring timesが共変量から完全に予測可能であっても有効である。
• シミュレーションおよび実データ（KKBox離脱データセット）において、行政的Brierスコアは共変量依存censoring下で優れた生存モデルを正しく特定するが、IPCW Brierスコアはそのような状況では失敗する。
• 行政的Brierスコアは理論的に非IPCW損失関数の最小化子として正当化され、バイアスなしに真の生存確率を推定する。
• 機械学習応用における行政的censoringを伴う状況では、IPCWベースの指標よりも行政的Brierスコアがよりシンプルで信頼性が高く、実用的である。