[論文レビュー] Evaluation metrics for temporal preservation in synthetic longitudinal patient data

Katariina Perkonoja, Parisa Movahedi+3 more|arXiv (Cornell University)|Feb 11, 2026

Machine Learning in Healthcare被引用数 0

ひとこと要約

この論文は、合成縦断的患者データにおける時系列保存を評価する多次元メトリクスを提案し、限界値、共分散、個体、測定構造を網羅する。カーネル平滑化とオープンソースのR実装を含む。

ABSTRACT

This study introduces a set of metrics for evaluating temporal preservation in synthetic longitudinal patient data, defined as artificially generated data that mimic real patients' repeated measurements over time. The proposed metrics assess how synthetic data reproduces key temporal characteristics, categorized into marginal, covariance, individual-level and measurement structures. We show that strong marginal-level resemblance may conceal distortions in covariance and disruptions in individual-level trajectories. Temporal preservation is influenced by factors such as original data quality, measurement frequency, and preprocessing strategies, including binning, variable encoding and precision. Variables with sparse or highly irregular measurement times provide limited information for learning temporal dependencies, resulting in reduced resemblance between the synthetic and original data. No single metric adequately captures temporal preservation; instead, a multidimensional evaluation across all characteristics provides a more comprehensive assessment of synthetic data quality. Overall, the proposed metrics clarify how and why temporal structures are preserved or degraded, enabling more reliable evaluation and improvement of generative models and supporting the creation of temporally realistic synthetic longitudinal patient data.

研究の動機と目的

• 合成縦断的患者データ（LPD）の時系列保存を評価する必要性を動機づける。
• 保存を評価する4つの時系列特性カテゴリを定義する：限界、共分散、個体、および測定構造。
• 不均衡なLPDと現実世界の前処理に適した頑健でノンパラメトリックなメトリクス群を開発する。
• オープンソースのR実装と実証デモンストレーションを提供し、SDG手法の評価を導く。

提案手法

• 既存の時系列評価指標を調査し、不均衡なLPDに対する限界を特定する。
• 時間変動パターンと依存関係を捉えるためにカーネル平滑化ベースのメトリクスを導入する。
• 一変量の時系列保存と4つのメトリクス分類：限界、共分散、個体、測定構造を定義する。
• ノンパラメトリック推定量（例：カーネル平滑化、加重CDF、変分法）と視覚化に適した出力を提供する。
• オープンソースのR実装を提供し、MIMIC-III由来のHALOとHealth Gym GANを用いた合成データセットにメトリクスを適用する。

実験結果

リサーチクエスチョン

• RQ1 合成縦断データは変数の時系列的限界分布をどれだけ再現できているか。
• RQ2 合成データセットは共分散と自己相関構造をどの程度保存しているか。
• RQ3 合成データは元データと同様に被験者固有の軌跡と測定時刻のパターンを保持しているか。
• RQ4 データ品質、測定頻度、前処理の意思決定が時系列保存にどのように影響するか。

主な発見

• 強い限界の類推は共分散の歪みや個体軌跡の乱れを覆い隠す可能性がある。
• 時系列保存は元データの品質、測定頻度、ビニングや精度といった前処理戦略の影響を受ける。
• 測定時刻がまばらまたは不規則な変数は時系列依存性を学習する情報が限られ、類似性を低下させる。
• 単一の総合指標では不十分であり、限界・共分散・個体・測定構造にまたがる多次元評価がより明確な洞察を提供する。
• 本研究はHALOとHealth Gym GANを用いてMIMIC-III由来の実世界LPDデータに対するオープンソースのR実装と実証例を提供し、メトリクスの実用的な解釈を強調している。