[논문 리뷰] Evaluation metrics for temporal preservation in synthetic longitudinal patient data

Katariina Perkonoja, Parisa Movahedi외 3명|arXiv (Cornell University)|2026. 02. 11.

Machine Learning in Healthcare인용 수 0

한 줄 요약

이 논문은 합성 종단 환자 데이터에서 시간적 보존성을 평가하기 위한 다차원 지표를 제안합니다. 이 지표는 주변(marginal), 공분산(covariance), 개별(individual), 및 측정 구조(measurement structures)를 다루며, 커널 스무딩과 오픈소스 R 구현을 포함합니다.

ABSTRACT

This study introduces a set of metrics for evaluating temporal preservation in synthetic longitudinal patient data, defined as artificially generated data that mimic real patients' repeated measurements over time. The proposed metrics assess how synthetic data reproduces key temporal characteristics, categorized into marginal, covariance, individual-level and measurement structures. We show that strong marginal-level resemblance may conceal distortions in covariance and disruptions in individual-level trajectories. Temporal preservation is influenced by factors such as original data quality, measurement frequency, and preprocessing strategies, including binning, variable encoding and precision. Variables with sparse or highly irregular measurement times provide limited information for learning temporal dependencies, resulting in reduced resemblance between the synthetic and original data. No single metric adequately captures temporal preservation; instead, a multidimensional evaluation across all characteristics provides a more comprehensive assessment of synthetic data quality. Overall, the proposed metrics clarify how and why temporal structures are preserved or degraded, enabling more reliable evaluation and improvement of generative models and supporting the creation of temporally realistic synthetic longitudinal patient data.

연구 동기 및 목표

• 합성 종단형 LPD에서 시간적 보존성을 평가해야 하는 필요성을 제시합니다.
• 보존성을 평가하기 위한 시간적 특성의 네 가지 범주를 정의합니다: 주변(marginal), 공분산(covariance), 개인(individual), 및 측정 구조(measurement structures).
• 불균형 LPD와 실제 세계 전처리에 적합한 강건하고 비모수적인 지표 모음을 개발합니다.
• SDG 방법 평가를 안내하기 위한 오픈 소스 R 구현과 실증 시연을 제공합니다.

제안 방법

• 기존의 시간적 평가 지표를 조사하고 불균형 LPD에 대한 한계를 식별합니다.
• 시간에 따라 변화하는 패턴과 의존성을 포착하기 위해 커널 스무딩 기반 지표를 도입합니다.
• 단변량 시간 보존성을 정의하고 네 가지 지표 클래스로: marginal, covariance, individual, measurement structure.
• 비모수 추정기(예: 커널 스무딩, 가중 CDF, 변이도 함수(variograms)) 및 시각화에 친화적인 출력 제공.
• MIMIC-III에서 HALO와 Health Gym GAN을 사용해 파생된 합성 데이터세트에 지표를 적용하고 오픈 소스 R 구현을 제공합니다.

실험 결과

연구 질문

• RQ1 합성 종단 데이터가 변수의 시간에 따라 변화하는 주변 분포를 얼마나 잘 재현하나요?
• RQ2 합성 데이터 세트가 공분산 및 자기상관 구조를 어느 정도 보존하나요?
• RQ3 합성 데이터가 원본 데이터에 비해 대상자의 특유의 궤적과 측정 시간 패턴을 보존하나요?
• RQ4 데이터 품질, 측정 빈도, 전처리 결정이 시간적 보존성에 어떤 영향을 미치나요?

주요 결과

• 강한 주변 분포의 유사성은 공분산의 왜곡과 개인 궤적의 붕괴를 숨길 수 있습니다.
• 시간적 보존성은 원본 데이터 품질, 측정 빈도, 및 빈닝(bin)과 정밀도와 같은 전처리 전략에 의해 좌우됩니다.
• 측정 시간이 드물거나 불규칙한 변수들은 시간 의존성을 학습하는 데 정보가 제한되어 유사성을 감소시킵니다.
• 단일 집계 지표로는 불충분하며, 주변, 공분산, 개인, 측정 구조에 걸친 다차원 평가가 더 명확한 인사이트를 제공합니다.
• 본 연구는 HALO와 Health Gym GAN을 사용하여 MIMIC-III에서 파생된 실제 LPD 데이터에 대한 오픈 소스 R 구현과 경험적 시연을 제공하며, 지표의 실용적 해석을 강조합니다.