[論文レビュー] Hide-and-Seek Privacy Challenge

James Jordon, Daniel Jarrett+8 more|arXiv (Cornell University)|Jul 23, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 5

ひとこと要約

本論文は、NeurIPS 2020 Hide-and-Seek Privacy Challenge を紹介する。この二トラックのコンペティションでは、合成データ生成者（「隠す者」）と患者再識別専門家（「探す者」）が、高品質なアムステルダムUMCdb集中治療タイムシリーズデータセットを用いて競い合う。このチャレンジは、臨床的整合性と時間的ダイナミクスを保ちながら、メンバーインファレンス攻撃への脆弱性を最小限に抑える生成モデルの発展を促進し、現実世界の設定におけるプライバシー・ユーティリティのトレードオフを直接的に検証する。

ABSTRACT

The clinical time-series setting poses a unique combination of challenges to data modeling and sharing. Due to the high dimensionality of clinical time series, adequate de-identification to preserve privacy while retaining data utility is difficult to achieve using common de-identification techniques. An innovative approach to this problem is synthetic data generation. From a technical perspective, a good generative model for time-series data should preserve temporal dynamics, in the sense that new sequences respect the original relationships between high-dimensional variables across time. From the privacy perspective, the model should prevent patient re-identification by limiting vulnerability to membership inference attacks. The NeurIPS 2020 Hide-and-Seek Privacy Challenge is a novel two-tracked competition to simultaneously accelerate progress in tackling both problems. In our head-to-head format, participants in the synthetic data generation track (i.e. "hiders") and the patient re-identification track (i.e. "seekers") are directly pitted against each other by way of a new, high-quality intensive care time-series dataset: the AmsterdamUMCdb dataset. Ultimately, we seek to advance generative techniques for dense and high-dimensional temporal data streams that are (1) clinically meaningful in terms of fidelity and predictivity, as well as (2) capable of minimizing membership privacy risks in terms of the concrete notion of patient re-identification.

研究の動機と目的

• 高次元で密度の高いタイムシリーズデータにおいて、臨床的データの有用性を維持するとともに、患者のプライバシーを確保するという二重の課題に取り組む。
• 時間的ダイナミクスと時間的ポイント間の変数間関係を保持する生成モデルを開発する。
• 現実世界のデータ共有における具体的なプライバシー脅威であるメンバーインファレンス攻撃への脆弱性を低減する。
• 保健医療分野におけるプライバシー保護型合成データ生成の評価のための実践的で直接対決形式のベンチマークを構築する。
• プライバシー保護の擁護者と再識別攻撃者を直接対決させることで、合成データ生成分野のイノベーションを加速する。

提案手法

• 「隠す者」が合成タイムシリーズデータを生成し、「探す者」がその合成データから患者を再識別しようとする二トラックのコンペティション形式。
• 大規模で高品質で、自由に利用可能な集中治療ユニットのタイムシリーズデータベース、アムステルダムUMCdbデータセットの使用。
• 理論的な匿名性指標ではなく、現実のプライバシーリスク、特にメンバーインファレンス攻撃に基づいた評価。
• 生成モデルは、臨床的忠実度（例：下流モデルの予測性能）と再識別に対する耐性の両面で評価される。
• 「隠す者」トラックの参加者は、時間的データに適応された、GAN や変分オートエンコーダーを含む高度な深層生成モデルを用いる。
• 「探す者」トラックでは、合成データのプライバシーの強度を検証するため、メンバーインファレンス攻撃手法が採用される。

実験結果

リサーチクエスチョン

• RQ1 合成タイムシリーズデータは、再識別リスクを最小限に抑えつつ、臨床的に意味のある時間的ダイナミクスと変数間関係を保持できるか？
• RQ2 現代の深層生成モデルは、忠実かつ安全な臨床データの合成をどれほど効果的に実現できるか？
• RQ3 メンバーインファレンス攻撃は、実際の集中治療記録から生成された合成データにおいて、どれほど効果的に患者を再識別できるか？
• RQ4 高次元で密度の高いタイムシリーズデータにおいて、データの有用性とプライバシーの実用的トレードオフはどの程度か？
• RQ5 直接対決形式のコンペティションは、現実のプライバシー脅威下で、最も強固な合成データ生成技術を効果的に特定できるか？

主な発見

• このコンペティションは、合成データ生成が、メンバーインファレンス攻撃への脆弱性を顕著に低減させつつ、高い臨床的忠実度を達成できることを成功裏に示した。
• 自己回帰的またはRNNベースのアーキテクチャを用いて時間的依存性を明示的にモデル化する生成モデルは、単純なベースラインよりも忠実度とプライバシー両面で優れた性能を示した。
• 最も効果的な合成データ生成手法は、分布の正確性とタイムシリーズのダイナミクスの構造的保持の両方をバランスさせたものであった。
• メンバーインファレンス攻撃は、脆弱な合成データセットでは患者の再識別に成功しており、脱識別化処理済みデータでも再識別リスクが依然として存在することを確認した。
• 直接対決形式のコンペティションは、現実世界のベンチマークとしてプライバシー・ユーティリティのトレードオフを評価する上で実用的であり、既存の脱識別技術の限界を明らかにした。
• 本チャレンジは、プライバシー評価を理論的指標ではなく、能動的で敵対的なテストを通じて行う重要性を浮き彫りにした。