[논문 리뷰] Synthetic data generation for a longitudinal cohort study -- Evaluation, method extension and reproduction of published data analysis results

Lisa Kühnel, Julian Schneider외 6명|arXiv (Cornell University)|2023. 05. 12.

demographic modeling and climate adaptationDecision Sciences인용 수 3

한 줄 요약

이 연구는 DONALD 코hort 연구에서 고해상도 합성 종단적 건강 데이터를 생성하기 위해 LSTM을 통합한 변동형 오토인코더인 VAMBN-MT를 개발하고 평가한다. 전문가의 지침에 기반한 모델 확장과 충분한 표본 크기를 통해 합성 데이터가 설탕 섭취의 실제 세계 트렌드를 성공적으로 재현할 수 있음을 입증하였으며, 더 큰 합성 데이터셋에서는 통계적으로 유의미한 결과(100%)를 보였고, 더 작은 데이터셋에서는 결과가 다양하게 나타났다.

ABSTRACT

Access to individual-level health data is essential for gaining new insights and advancing science. In particular, modern methods based on artificial intelligence rely on the availability of and access to large datasets. In the health sector, access to individual-level data is often challenging due to privacy concerns. A promising alternative is the generation of fully synthetic data, i.e. data generated through a randomised process that have similar statistical properties as the original data, but do not have a one-to-one correspondence with the original individual-level records. In this study, we use a state-of-the-art synthetic data generation method and perform in-depth quality analyses of the generated data for a specific use case in the field of nutrition. We demonstrate the need for careful analyses of synthetic data that go beyond descriptive statistics and provide valuable insights into how to realise the full potential of synthetic datasets. By extending the methods, but also by thoroughly analysing the effects of sampling from a trained model, we are able to largely reproduce significant real-world analysis results in the chosen use case.

연구 동기 및 목표

• 종단적 코hort 연구에서 최신 합성 데이터 생성 방법을 평가하고 확장하기 위해.
• 기존 방법들이 종단적 데이터의 시간 포인트 간 직접적 종속성을 유지하지 못하는 한계를 해결하기 위해.
• 합성 데이터를 사용하여 기존에 발표된 실제 세계 분석 결과—특히 추가 설탕 섭취의 시간과 연령 트렌드—를 재현하기 위해.
• 표본 변동성, 표본 크기, 변수 그룹화가 합성 데이터셋의 신뢰성과 유용성에 미치는 영향을 조사하기 위해.
• epidemiological 연구에서 개인정보 보호, 유용성, 재현 가능성의 균형을 이루는 합성 데이터 생성을 위한 방법론적 프레임워크를 제공하기 위해.

제안 방법

• 종단적 데이터의 반복 방문 간 시간적 종속성을 모델링하기 위해 LSTM 레이어를 통합한 변동형 오토인코더(VAMBN)를 개선한다.
• 한 명의 개인이 가진 모든 시간 포인트를 함께 인코딩하여 단일 잠재 표현으로 변환함으로써 방문 간 종속성을 유지한다.
• 시간 포인트 간 공유된 잠재 공간을 갖는 계층적 VAE 아키텍처를 사용하여, 시간에 따라 상관관계가 있는 변수들을 함께 모델링한다.
• 기준 비교를 위해 피드포워드 네트워크를 사용한다(VAMBN-플랫티드 타임포인트, FT), 이를 LSTM을 통합한 버전(VAMBN-MT)과 대비한다.
• 다양한 크기의 합성 데이터셋(1,312명 및 10,000명)을 생성하고, 안정성과 재현 가능성 평가를 위해 후처리를 실시한다.
• 모델 별로 반복적인 샘플링(각 모델당 100회 반복)을 수행하여 분산, 신뢰구간 폭, 통계적 유의성 등 반복적인 합성 데이터셋 간의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 VAMBN-MT가 생성한 합성 데이터는 원래 DONALD 연구 데이터에서 관찰된 추가 설탕 섭취의 연령 및 시간 트렌드를 재현할 수 있는가?
• RQ2 표본 크기가 실존 데이터와 비교하여 합성 데이터셋에서 트렌드 탐지의 안정성과 통계적 유의성에 어떤 영향을 미치는가?
• RQ3 표준 피드포워드 네트워크 대비 LSTM 레이어를 통합함으로써 시간 포인트 간 직접적 종속성을 얼마나 잘 모델링할 수 있는가?
• RQ4 변수를 함께 훈련시키는 방식(예: 도메인 또는 방문 기반으로 그룹화)이 상관관계 유지 및 후속 분석의 타당성에 어떤 영향을 미치는가?
• RQ5 합성 데이터는 실제 데이터에서 유의미하지 않은 트렌드를 신뢰성 있게 재현할 수 있는가? 이는 합성 데이터가 미세한 효과를 탐지하는 데 있어 유용성에 어떤 함의를 갖는가?

주요 결과

• VAMBN-MT는 기준 모델인 VAMBN-FT와 표준 VAMBN보다 쌍변수 상관관계와 직접 종속성(예: 시간과 연령 간 선형 관계)을 더 잘 유지하여 유의미하게 뛰어난 성능을 보였다.
• 모델은 추가 설탕 섭취의 연령 트렌드를 고해상도로 재현했으며, 시간 트렌드 역시 잘 근사하여 실제 분석 재현에 실용적인 가치를 지녔다.
• 더 큰 합성 데이터셋(10,000명)은 더 안정적인 추정치와 좁은 신뢰구간, 100%의 통계적 유의성으로 결과를 보였고, 더 작은 데이터셋(1,312명)은 유의미한 결과가 22–70% 범위에서만 나타났다.
• 표본 변동성은 실질적인 영향을 미쳤다: 동일한 모델에서 반복 샘플링을 수행했을 때 결과가 달라졌으며, 이는 신뢰할 수 있는 추론을 확보하기 위해 큰 표본 크기가 필요함을 시사한다.
• 모델은 총설탕 섭취의 유의미하지 않은 선형 및 이차 시간 트렌드를 재현하지 못했으며, 이는 합성 데이터가 실제로 유의미하지 않은 결과를 신뢰성 있게 재현하지 못함을 의미한다.
• 특히 관련 변수(예: 모의 교육 수준)를 함께 훈련시키는 적절한 변수 그룹화가 상관관계 유지에 필수적이었으며, 별도의 오토인코더를 사용할 경우 핵심 관계가 손실되는 것을 확인했다.