[論文レビュー] Disability prediction in multiple sclerosis using performance outcome measures and demographic data

Subhrajit Roy, Diana Mincu+9 more|arXiv (Cornell University)|Apr 8, 2022

Multiple Sclerosis Research Studies被引用数 4

ひとこと要約

本研究は、我々の知る限り、初めて機械学習モデルが、神経画像診断や血液検査に依存せずに、パフォーマンス成果指標（POMs）と人口統計データのみを用いて、多発性硬化症（MS）の障害進行を正確に予測できることを示している。この手法により、臨床的およびスマートフォンベースの環境において、信頼性が高く、スケーラブルで低コストのモニタリングが可能になる。本アプローチは、多様なデータセットおよびモデルタイプにおいて優れた予測性能を達成しており、人口統計的サブグループ間で一貫した結果を示し、特徴量の欠落に対して耐性がある。

ABSTRACT

Literature on machine learning for multiple sclerosis has primarily focused on the use of neuroimaging data such as magnetic resonance imaging and clinical laboratory tests for disease identification. However, studies have shown that these modalities are not consistent with disease activity such as symptoms or disease progression. Furthermore, the cost of collecting data from these modalities is high, leading to scarce evaluations. In this work, we used multi-dimensional, affordable, physical and smartphone-based performance outcome measures (POM) in conjunction with demographic data to predict multiple sclerosis disease progression. We performed a rigorous benchmarking exercise on two datasets and present results across 13 clinically actionable prediction endpoints and 6 machine learning models. To the best of our knowledge, our results are the first to show that it is possible to predict disease progression using POMs and demographic data in the context of both clinical trials and smartphone-base studies by using two datasets. Moreover, we investigate our models to understand the impact of different POMs and demographics on model performance through feature ablation studies. We also show that model performance is similar across different demographic subgroups (based on age and sex). To enable this work, we developed an end-to-end reusable pre-processing and machine learning framework which allows quicker experimentation over disparate MS datasets.

研究の動機と目的

• パフォーマンス成果指標（POMs）と人口統計データのみを用いて、神経画像診断や血液検査に依存せずに、MS障害の進行を予測できるかどうかを調査すること。
• 公開済みの2つのMSデータセット（MSOACおよびFloodlight）において、複数の機械学習モデルをベンチマークすること。
• 年齢および性別を含む人口統計的サブグループにおけるモデルのパフォーマンスを評価し、公平性および一般化可能性を確認すること。
• 異なるMSデータセットに対して効率的なベンチマークを可能にする、再利用可能なエンドツーエンドの前処理およびモデリングフレームワークを開発すること。
• 特徴量の除去によるアブレーションスタディを通じて、個々のPOMおよび人口統計的特徴量の相対的寄与度を理解すること。

提案手法

• 本研究では、臨床的訪問（MSOAC）またはスマートフォンアプリ（Floodlight）を介して収集された、歩行、バランス、認知機能、器用性の時間的履歴を含む多次元的でタイムスタンプ付きのPOMを、年齢および性別の人口統計データとともに使用する。
• 標準化され、再利用可能な前処理パイプラインにより、多様なMSデータセットが共通フォーマットに変換され、一貫したラベル作成およびメトリクス計算が可能になる。
• XGBoost、LightGBM、CatBoost、DenseNet、TCN、Transformerの6つの機械学習モデルを、13の臨床的意義のある予測エンドポイント（例：EDSS >3、EDSS >5、EDSS重症度カテゴリ）および2つの時間枠（6–12か月および12–24か月）で評価する。
• モデルのパフォーマンスは、AU-PRCを用いて評価され、年齢および性別によるサブグループ分析を通じて公平性および耐性を評価する。
• 特徴量の除去スタディにより、POMおよび人口統計的特徴量を体系的に除外し、それらが予測パフォーマンスに与える寄与度を定量化する。
• TCNおよびTransformerモデルによる時系列モデリングを検討し、POMの順序的パターンが長期予測に与える価値を評価する。

実験結果

リサーチクエスチョン

• RQ1 POMと人口統計データのみで、臨床試験およびスマートフォンベースの環境において、臨床的に意味のある正確性でMS障害進行を予測できるか？
• RQ2 異なる機械学習モデルは、多様なMSデータセットおよび予測時間枠において、どのように性能を発揮するか？
• RQ3 モデルのパフォーマンスは、年齢や性別などの人口統計的サブグループで顕著に異なるか。これは、バイアスや公平性の問題を示唆するか？
• RQ4 どのPOMおよび人口統計的特徴量が予測パフォーマンスに最も寄与しており、人口統計データは高い正確性を達成するために不可欠か？
• RQ5 再利用可能なエンドツーエンドのフレームワークは、異種のMSデータセット間で効率的なベンチマークおよび将来的なMS進行予測モデルの開発を可能にするか？

主な発見

• 本研究は、MSOACおよびFloodlightの両データセットで優れた予測パフォーマンスを達成しており、TCNおよびTransformerモデルが、時系列パターンの効果的なモデリングにより長期予測において優れた性能を示している。
• モデルのパフォーマンスは人口統計的サブグループ間で一貫しており、男性および女性の両方で同等のAU-PRC値を示しており、50–70歳の年齢層のパフォーマンスは、全データセットと同等またはわずかに低い水準に留まっている。これは、コhortが主にレレイピングリミッティング型であるにもかかわらず、顕著な差異を示さないことを意味する。
• 30歳未満の最年少年齢層では、AU-PRCの低下が最も顕著であり、早期発症MSの進行予測に課題がある可能性を示唆している。
• 人口統計データを除いたPOMのみの特徴量でも、全特徴量セットと同等のパフォーマンスを達成しており、人口統計データが予測性能に不可欠であるかどうかに疑問を呈し、プライバシーのトレードオフを浮き彫りにしている。
• 特徴量の除去スタディにより、特に運動機能および認知機能関連のPOMが、他の特徴量よりもモデルパフォーマンスにより顕著に寄与していることが明らかになった。
• 提示されたエンドツーエンドのフレームワークにより、信頼性の高いデータセットインジェスト、スケーラブルなラベル作成、一貫したメトリクス計算が可能となり、異種のMSデータセット間で迅速な実験が可能になった。