[論文レビュー] Synthetic data generation for a longitudinal cohort study -- Evaluation, method extension and reproduction of published data analysis results

Lisa Kühnel, Julian Schneider+6 more|arXiv (Cornell University)|May 12, 2023

demographic modeling and climate adaptationDecision Sciences被引用数 3

ひとこと要約

本研究では、DONALDコhort研究から高精細度の縦断的健康データを生成するためのLSTM強化型変分オートエンコーダー、VAMBN-MTを開発および評価した。専門家の知見に基づくモデル拡張と十分なサンプルサイズを組み合わせることで、糖摂取量の現実世界のトレンドを合成データが的確に再現できることを示した。大規模な合成データセットでは100%の統計的有意性を達成したが、小規模なデータセットでは結果がばらつきを示した。

ABSTRACT

Access to individual-level health data is essential for gaining new insights and advancing science. In particular, modern methods based on artificial intelligence rely on the availability of and access to large datasets. In the health sector, access to individual-level data is often challenging due to privacy concerns. A promising alternative is the generation of fully synthetic data, i.e. data generated through a randomised process that have similar statistical properties as the original data, but do not have a one-to-one correspondence with the original individual-level records. In this study, we use a state-of-the-art synthetic data generation method and perform in-depth quality analyses of the generated data for a specific use case in the field of nutrition. We demonstrate the need for careful analyses of synthetic data that go beyond descriptive statistics and provide valuable insights into how to realise the full potential of synthetic datasets. By extending the methods, but also by thoroughly analysing the effects of sampling from a trained model, we are able to largely reproduce significant real-world analysis results in the chosen use case.

研究の動機と目的

• 栄養学における縦断的コhort研究のための最先端の合成データ生成手法を評価および拡張すること。
• 縦断的データにおける時系列間の直接的依存関係を保持できない既存手法の限界を解消すること。
• 合成データを用いて、公表済みの現実世界の分析結果（具体的には、添加糖摂取量の時間的および年齢的トレンド）を再現すること。
• サンプリングのばらつき、サンプルサイズ、変数のグループ化が、合成データセットの信頼性および有用性に与える影響を調査すること。
• 疫学的研究においてプライバシー、有用性、再現可能性のバランスをとる合成データ生成のためのメソドロジカルフレームワークを提供すること。

提案手法

• 縦断的データにおける繰り返し訪問間の時系列的依存関係をモデル化するため、LSTM層を統合した変分オートエンコーダーに多変量正規化フローを適用したVAMBNを改良する（VAMBN-MT）。
• 個々の被験者に属する全時系列の観測値を1つの潜在表現にまとめてエンコードし、訪問間の依存関係を保持するようにデータを再定式化する。
• 時系列間で共有される潜在空間を有する階層的VAEアーキテクチャを用い、時間経過に伴う相関する変数を統合的にモデル化する。
• 比較のためのベースラインとして、フィードフォワードネットワークを用いた手法（VAMBN-時系列平坦化、FT）を採用し、LSTM強化型（VAMBN-MT）と対比する。
• さまざまなサイズ（1,312および10,000サンプル）の合成データセットを生成し、安定性と再現性を評価するための後処理を実施する。
• 各モデルに対して100回の繰り返しリサンプリングを実施し、分散、信頼区間の幅、および繰り返し合成データセットにおける統計的有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 VAMBN-MTが生成する合成データは、元のDONALD研究データで観察された添加糖摂取量の年齢的および時間的トレンドを再現できるか？
• RQ2 サンプルサイズが、合成データセットにおけるトレンド検出の安定性および統計的有意性に与える影響は、実データと比較してどうか？
• RQ3 標準的なフィードフォワードネットワークと比較して、LSTM層を組み込むことで、時系列間の直接的依存関係のモデル化がどの程度向上するか？
• RQ4 変数のトレーニング時のグループ化（例：分野別または訪問別）が、相関の保持および後続分析の妥当性に与える影響はいかほどか？
• RQ5 合成データは、実データにおける有意でないトレンドを信頼性を持って再現できるか？これは、合成データが微細な効果を検出する能力にどのような含意を持つのか？

主な発見

• VAMBN-MTは、ベースラインのVAMBN-FTおよび標準的なVAMBNと比較して、ペアワイズ相関や直接的依存関係（例：時間と年齢の線形関係）の保持において顕著に優れていた。
• モデルは添加糖摂取量の年齢的トレンドを高い正確性で再現し、時間的トレンドについても良好に近似しており、現実世界の分析再現の有用性を示した。
• 大規模な合成データセット（10,000サンプル）では、信頼区間が狭く安定したトレンド推定が得られ、100%の統計的有意性を達成した。一方、小規模データセット（1,312サンプル）では有意性が22–70%の間でばらつきを示した。
• サンプリングのばらつきには明確な影響があった：同じモデルから繰り返しサンプリングを行うと結果が変動し、信頼できる推論を確保するには大規模なサンプルサイズが不可欠であることが示された。
• 非有意な時間的トレンド（線形および二次的）の総糖摂取量について、モデルは再現できなかった。これは、合成データが非有意な現実世界の発見を信頼性を持って再現できないことを示唆している。
• 特に関連する変数（例：母の教育水準）を一緒にトレーニングすることが相関の保持に不可欠であり、個別にオートエンコーダーを学習させると、重要な関係が損なわれた。