[論文レビュー] Impact of predictor measurement heterogeneity across settings on performance of prediction models: a measurement error perspective

Kim Luijken, Rolf H. H. Groenwold+3 more|arXiv (Cornell University)|Jun 27, 2018

Health Systems, Economic Evaluations, Quality of Life参考文献 15被引用数 3

ひとこと要約

本研究は、導出設定と検証設定における予測子測定法の違いが、臨床予測モデルのパフォーマンスに与える影響を調査する。測定誤差モデルを用いて、試験メーカーの違いやカットオフ値のばらつきといった測定プロトコルの不均一性が、不適合（miscalibration）、判別能の低下、予測精度の低下を引き起こし、モデルの移植性と臨床的有用性を損なう可能性があることを示している。

ABSTRACT

It is widely acknowledged that the predictive performance of clinical prediction models should be studied in patients that were not part of the data in which the model was derived. Out-of-sample performance can be hampered when predictors are measured differently at derivation and external validation. This may occur, for instance, when predictors are measured using different measurement protocols or when tests are produced by different manufacturers. Although such heterogeneity in predictor measurement between deriviation and validation data is common, the impact on the out-of-sample performance is not well studied. Using analytical and simulation approaches, we examined out-of-sample performance of prediction models under various scenarios of heterogeneous predictor measurement. These scenarios were defined and clarified using an established taxonomy of measurement error models. The results of our simulations indicate that predictor measurement heterogeneity can induce miscalibration of prediction and affects discrimination and overall predictive accuracy, to extents that the prediction model may no longer be considered clinically useful. The measurement error taxonomy was found to be helpful in identifying and predicting effects of heterogeneous predictor measurements between settings of prediction model derivation and validation. Our work indicates that homogeneity of measurement strategies across settings is of paramount importance in prediction research.

研究の動機と目的

• 導出と検証の設定における予測子測定の不均一性が、予測モデルのパフォーマンスに与える影響を調査すること。
• 試験メーカーの違いやカットオフ値のばらつきといった測定プロトコルの差が、適合性、判別能、および総合的精度に与える影響を特定すること。
• 測定誤差モデルが、こうした不均一性の影響を体系的に分類・予測できるかどうかを評価すること。
• モデルの移植性と臨床的有用性を確保するための一貫した測定戦略の重要性を強調すること。
• 外部妥当性を信頼できるものとするために、導出研究および検証研究の両方で測定手順を透明に報告するよう提言すること。

提案手法

• 測定誤差モデル（例：古典的モデル、Berksonモデル、混合モデルなど）の分類法を用いて、測定不均一性の状況を定義・分類する。
• 解析的導出を用いて、ロジスティック回帰モデルにおける回帰係数および線形予測子の分散に及ぼされる測定誤差の影響を検討する。
• 大標本シミュレーションを実施し、設定間での測定不均一性の影響と、導出データ内での測定誤差の影響を比較する。
• 有限標本における広範なモンテカルロシミュレーションを実施し、測定不均一性の程度が異なる条件下での予測性能（アウトオブサンプル性能）を評価する。
• 適合性、判別能（C-statistic）、Brierスコアといった主要なパフォーマンス指標を、さまざまな測定誤差構造のもとで評価する。
• 測定誤差補正および残差クラス内相関（RICC）を用いた不均一性の定量化の可能性を検討したが、実世界への適用における制限も指摘した。

実験結果

リサーチクエスチョン

• RQ1 導出と検証の設定における予測子測定の不均一性は、臨床予測モデルの適合性、判別能、および総合的予測精度にどのように影響を与えるか？
• RQ2 測定誤差モデルは、不均一な測定プロトコルがアウトオブサンプルパフォーマンスに与える影響をどの程度正確に予測できるか？
• RQ3 測定不均一性と、モデルの過適合や母集団の違いといった他の要因とを比較した場合、モデルパフォーマンスの低下に寄与する相対的な要因は何か？
• RQ4 試験メーカーの違いや自己報告と客観的測定の違いといった異なる測定プロトコルの使用が、モデルの移植性にどのように影響を与えるか？
• RQ5 低測定誤差を示す日常的収集データや治験ベースのデータセットを用いて、高精度なデータから導出したモデルの外部妥当性を検証する場合、どのような意味があるか？

主な発見

• 導出と検証の設定間での予測子測定の不均一性は、外部検証における予測確率の信頼性を著しく低下させる不適合を引き起こす可能性がある。
• 測定プロトコルの不均一性は、判別能（C-statistic）および総合的予測精度（Brierスコア）に悪影響を及ぼし、結果としてモデルが臨床的に使用不能になる可能性がある。
• 測定誤差分類法は、測定不均一性に起因するパフォーマンス低下の性質と大きさを効果的に特定・予測できる。
• 高精度な測定（例：臨床検査）から導出したモデルは、実世界では測定精度が低い環境下で、不適合のため性能が著しく低下する可能性がある。
• 測定誤差が最小限のデータセット（例：治験データ）を用いて検証を行うと、性能評価が楽観的になりすぎ、不適合の問題が隠れてしまう可能性がある。
• 信頼できるモデルの移植性を確保するためには、導出と検証の両設定で一貫した測定戦略が不可欠であり、測定手順の透明な報告は、妥当な外部妥当性を実現する上で極めて重要である。