[論文レビュー] Development, validation and clinical usefulness of a prognostic model for relapse in relapsing-remitting multiple sclerosis

Konstantina Chalkou, Ewout W. Steyerberg+8 more|arXiv (Cornell University)|May 14, 2021

Multiple Sclerosis Research Studies参考文献 43被引用数 11

ひとこと要約

本研究では、スイス多発性硬化症コhortからのリアルワールドデータを用いて、リラップス・レミッティング型多発性硬化症（RRMS）患者の2年以内再発リスクを予測するためのベイジアン一般化線形混合効果予後モデルを構築し、内部妥当性評価を実施した。EDSS、ガドリニウム強化病変、および以前の再発回数を含む8つのベースライン要因を組み込んだこのモデルは、オピニオン補正済みc統計量が0.65に達し、15%〜30%のリスク閾値において臨床的有用性を示した。また、個別化されたリスク推定を可能にするウェブアプリケーションも提供されている。

ABSTRACT

Prognosis on the occurrence of relapses in individuals with Relapsing-Remitting Multiple Sclerosis (RRMS), the most common subtype of Multiple Sclerosis (MS), could support individualized decisions and disease management and could be helpful for efficiently selecting patients in future randomized clinical trials. There are only three previously published prognostic models on this, all of them with important methodological shortcomings. We aim to present the development, internal validation, and evaluation of the potential clinical benefit of a prognostic model for relapses for individuals with RRMS using real world data. We followed seven steps to develop and validate the prognostic model. Finally, we evaluated the potential clinical benefit of the developed prognostic model using decision curve analysis. We selected eight baseline prognostic factors: age, sex, prior MS treatment, months since last relapse, disease duration, number of prior relapses, expanded disability status scale (EDSS), and gadolinium enhanced lesions. We also developed a web application where the personalized probabilities to relapse within two years are calculated automatically. The optimism-corrected c-statistic is 0.65 and the optimism-corrected calibration slope was 0.92. The model appears to be clinically useful between the range 15% and 30% of the threshold probability to relapse. The prognostic model we developed offers several advantages in comparison to previously published prognostic models on RRMS. Importantly, we assessed the potential clinical benefit to better quantify the clinical impact of the model. Our web application, once externally validated in the future, could be used by patients and doctors to calculate the individualized probability to relapse within two years and to inform the management of their disease.

研究の動機と目的

• リアルワールドデータを用いた、再発予後に関する強固で妥当性が確認されたモデルが不足しているという問題に対処すること。
• 欠損データの不完全な処理、内部妥当性評価の欠如、臨床的利点の評価が不十分であるといった、先行モデルの方法論的限界を克服すること。
• 2年以内の再発リスクを個別に予測できる臨床的に有用なツールを開発し、個別化された治療意思決定を支援すること。
• 意思決定曲線分析を用いて、さまざまな閾値確率におけるモデルのネット臨床的利益を評価すること。
• 臨床医および患者が、主要な予後因子に基づいて個別化された再発リスクを推定できる、公開可能なウェブアプリケーションの作成

提案手法

• 個々の被験者における繰り返し測定を適切に扱い、推定の安定性を向上させるために、ベイジアン一般化線形混合効果モデルを構築した。
• 体系的文献レビューを通じて、年齢、性別、病状持続期間、EDSS、以前の再発回数、最後の再発からの月数、治療状態、ガドリニウム強化病変数を含む8つのベースライン予後因子を選定した。
• 欠損データの処理に多重代入法を適用し、不完全ケース解析によるバイアスの可能性を低減した。
• 過学習を低減し、モデルのキャリブレーションを向上させるために、縮小技術（例：ペナルティ付き尤度法）を用いた。
• 500回のブートストラップ再サンプリングを用いた内部妥当性評価を実施し、オピニオン補正済みのキャリブレーションおよび識別能指標を算出した。
• 臨床的有用性の評価として、臨床的に関連する閾値確率におけるネット利益を確認するための意思決定曲線分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 先行モデルと比較して、より高い方法論的厳密性を持つリアルワールドデータを用いたRRMS再発リスクの予後モデルを構築できるか？
• RQ2 RRMS患者において、2年以内の再発を予測する上で、最も予測能の高いベースライン臨床的および画像的因子は何か？
• RQ3 オピニオン補正を施した後でも、再発するかしないかを適切に識別できるか？
• RQ4 全例に治療するか、全例に治療しないかの戦略と比較して、本モデルを用いることで得られるネット臨床的利益は何か？
• RQ5 本モデルに基づくウェブベースのツールが、臨床現場における個別化された治療意思決定を支援できるか？

主な発見

• 予後モデルは、オピニオン補正済みc統計量が0.65に達し、2年以内の再発リスク予測における中程度の識別能力を示した。
• オピニオン補正済みキャリブレーションスロープは0.92であった。これは、予測確率と観察確率との間に良好な一致があることを示している。
• 意思決定曲線分析の結果、本モデル戦略は15%〜30%の閾値確率において、全例に治療するか全例に治療しない戦略を上回る最高のネット利益を示した。
• 本モデルは13.7イベント／変数（EPV）のサンプルサイズ効率を有しており、信頼性の高い推定が可能であると示された。
• https://cinema.ispm.unibe.ch/shinies/rrms/ でアクセス可能なウェブアプリケーションは、8つの主要な予後因子の入力に基づき、リアルタイムで個別化されたリスク予測を可能にしている。
• 外部妥当性評価が行われるまでは、臨床的実装は不適切である。本モデルは現在まで内部妥当性評価のみを経ており、独立したコhortでの検証はまだ実施されていない。