[논문 리뷰] Hide-and-Seek Privacy Challenge

James Jordon, Daniel Jarrett외 8명|arXiv (Cornell University)|2020. 07. 23.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 5

한 줄 요약

이 논문은 고밀도 시간열 데이터에서 임상적 유용성과 환자 개인정보 보호를 동시에 확보하기 위해 실시된 NeurIPS 2020 Hide-and-Seek 개인정보 보호 챌린지에 대해 소개한다. 이 챌린지는 고성능의 암스테르담UMCdb 집중치료실 시간열 데이터베이스를 활용해, 합성 데이터 생성자('은신자')와 환자 재식별 전문가('찾는 자') 간의 双궤적 경쟁을 통해 실질적인 환경에서의 개인정보 유출 위험을 직접 평가한다. 챌린지는 임상적 정합성과 시간적 동적 특성을 유지하면서도 멤버십 추론 공격에 대한 취약성을 최소화하는 생성 모델의 발전을 촉진하며, 실제 환경에서의 개인정보-유용성 트레이드오프를 직접 테스트한다.

ABSTRACT

The clinical time-series setting poses a unique combination of challenges to data modeling and sharing. Due to the high dimensionality of clinical time series, adequate de-identification to preserve privacy while retaining data utility is difficult to achieve using common de-identification techniques. An innovative approach to this problem is synthetic data generation. From a technical perspective, a good generative model for time-series data should preserve temporal dynamics, in the sense that new sequences respect the original relationships between high-dimensional variables across time. From the privacy perspective, the model should prevent patient re-identification by limiting vulnerability to membership inference attacks. The NeurIPS 2020 Hide-and-Seek Privacy Challenge is a novel two-tracked competition to simultaneously accelerate progress in tackling both problems. In our head-to-head format, participants in the synthetic data generation track (i.e. "hiders") and the patient re-identification track (i.e. "seekers") are directly pitted against each other by way of a new, high-quality intensive care time-series dataset: the AmsterdamUMCdb dataset. Ultimately, we seek to advance generative techniques for dense and high-dimensional temporal data streams that are (1) clinically meaningful in terms of fidelity and predictivity, as well as (2) capable of minimizing membership privacy risks in terms of the concrete notion of patient re-identification.

연구 동기 및 목표

• 고차원적이고 고밀도인 시간열 데이터에서 임상 데이터의 유용성과 환자 개인정보 보호를 동시에 확보하기 위한 도전 과제를 해결하기 위해.
• 시간 경과에 따라 변화하는 시간적 동적 특성과 변수 간 상관관계를 유지하는 생성 모델을 개발하기 위해.
• 실제 데이터 공유 환경에서의 구체적인 개인정보 위협인 멤버십 추론 공격에 대한 취약성을 줄이기 위해.
• 의료 분야에서 개인정보 보호 합성 데이터 생성 기술을 평가하기 위한 실질적이고 직접적인 비교 기준을 마련하기 위해.
• 개인정보 보호 수호자와 재식별 공격자 간의 직접적 대결을 통해 합성 데이터 생성 분야의 혁신을 가속화하기 위해.

제안 방법

• '은신자'가 합성 시간열 데이터를 생성하고, '찾는 자'가 그 합성 데이터에서 환자를 재식별하려는 이중 트랙 경쟁 형식을 채택함.
• 대규모이며 고품질이며 무료로 접근 가능한 집중치료실 시간열 데이터베이스인 AmsterdamUMCdb 데이터셋을 사용함.
• 이론적 익명성 지표가 아닌, 실제 개인정보 유출 위험, 특히 멤버십 추론 공격을 기반으로 평가함.
• 생성 모델은 임상적 정합성(예: 후행 모델의 예측 성능)과 재식별에 대한 저항력의 두 가지 기준으로 평가됨.
• '은신자' 트랙 참가자들은 순차적 데이터에 적합한 GAN 및 변동형 오토인코더를 포함한 고급 딥 생성 모델을 활용함.
• '찾는 자' 트랙은 합성 데이터의 개인정보 보안 강도를 테스트하기 위해 멤버십 추론 공격 기법을 적용함.

실험 결과

연구 질문

• RQ1 합성 시간열 데이터는 재식별 위험을 최소화하면서도 임상적으로 의미 있는 시간적 동적 특성과 변수 간 상관관계를 유지할 수 있는가?
• RQ2 최신 딥 생성 모델은 정확성과 개인정보 보호를 동시에 확보하는 임상 합성 데이터를 얼마나 효과적으로 생성할 수 있는가?
• RQ3 실제 집중치료 기록에서 유래한 합성 데이터에서 멤버십 추론 공격가 환자를 얼마나 잘 재식별할 수 있는가?
• RQ4 고차원적이고 고밀도인 시간열 데이터에서 데이터 유용성과 개인정보 보호 사이의 실질적 트레이드오프는 어느 정도인가?
• RQ5 실제 개인정보 위협 상황에서 가장 강력한 합성 데이터 생성 기법을 효과적으로 식별하기 위해 헤드투헤드 경쟁 형식이 유용한가?

주요 결과

• 이 경쟁은 합성 데이터 생성 기술이 높은 임상적 정합성을 확보하면서도 멤버십 추론 공격에 대한 취약성을 크게 감소시킬 수 있음을 성공적으로 입증하였다.
• 자기회귀적 또는 RNN 기반 아키텍처를 활용해 시간적 의존성을 명시적으로 모델링하는 생성 모델이, 단순 기준 모델 대비 정합성과 개인정보 보호 측면에서 뛰어난 성능을 보였다.
• 가장 효과적인 합성 데이터 생성기는 분포 정확성과 시간열 동적 특성의 구조적 유지 간 균형을 잘 잡은 모델이었다.
• 멤버십 추론 공격는 취약한 합성 데이터셋에서는 환자를 재식별하는 데 성공했으며, 이는 탈식별 처리된 데이터라도 재식별 위험이 존재한다는 점을 확인시켰다.
• 헤드투헤드 경쟁 형식은 실질적이고 실제 환경 기반의 개인정보-유용성 트레이드오프 평가 기준을 제공하였으며, 현재의 탈식별 기법의 한계를 드러내었다.
• 이 챌린지는 개인정보 평가를 이론적 지표가 아닌, 적극적인 적대적 테스트를 통해 수행할 것의 중요성을 부각시켰다.