[논문 리뷰] Membership Inference Attacks on Deep Regression Models for Neuroimaging

Umang Gupta, Dimitris Stripelis외 4명|arXiv (Cornell University)|2021. 05. 06.

Functional Brain Connectivity Studies인용 수 7

한 줄 요약

이 논문은 뇌 영상 데이터를 위한 딥 레지션 모델, 특히 뇌 연령 예측에 대해 멤버십 인식 공격이 가능함을 보여준다. 모델 파라미터나 예측 결과만 공개된 경우에도 공격가능성이 있으며, 중앙집중식 및 피어드 학습 환경 모두에서 60–80%의 공격 성공률를 기록한다. 이는 직접적인 데이터 공유 없이도 모델 공유 시 훈련 데이터 소속 정보가 泄露됨을 시사한다.

ABSTRACT

Ensuring the privacy of research participants is vital, even more so in healthcare environments. Deep learning approaches to neuroimaging require large datasets, and this often necessitates sharing data between multiple sites, which is antithetical to the privacy objectives. Federated learning is a commonly proposed solution to this problem. It circumvents the need for data sharing by sharing parameters during the training process. However, we demonstrate that allowing access to parameters may leak private information even if data is never directly shared. In particular, we show that it is possible to infer if a sample was used to train the model given only access to the model prediction (black-box) or access to the model itself (white-box) and some leaked samples from the training data distribution. Such attacks are commonly referred to as Membership Inference attacks. We show realistic Membership Inference attacks on deep learning models trained for 3D neuroimaging tasks in a centralized as well as decentralized setup. We demonstrate feasible attacks on brain age prediction models (deep learning models that predict a person's age from their brain MRI scan). We correctly identified whether an MRI scan was used in model training with a 60% to over 80% success rate depending on model complexity and security assumptions.

연구 동기 및 목표

• 뇌 영상 데이터를 학습시킨 딥 러닝 모델에서 개인정보 침해가 발생할 수 있는지, 특히 뇌 연령 예측에 대해 멤버십 인식 공격가능성을 조사한다.
• 데이터를 직접 공유하지 않는 중앙집중식 및 피어드 학습 환경에서 이러한 공격의 실현 가능성을 평가한다.
• 의료 영상에서 널리 사용되는 회귀 모델이 기존의 분류 모델에 비해 얼마나 취약한지 평가한다.
• 실제 훈련 샘플에 접근하지 못하더라도, 모델 예측 결과(블랙박스) 또는 모델 파라미터(화이트박스)만으로도 훈련 데이터 소속을 추론할 수 있는지 탐색한다.
• 과적합과 모델 복잡도가 멤버십 인식 공격에 대한 취약성에 미치는 영향을 검토한다.

제안 방법

• MRI 스캔을 사용해 뇌 연령 예측을 위한 3D-CNN 및 2D-스ライ스 평균 딥 러닝 모델에 대해 화이트박스 및 블랙박스 멤버십 인식 공격를 수행한다.
• 목표 모델의 행동을 모방하기 위해 훈련 분포에서 무작위 샘플을 사용해 샤로우 모델을 훈련시고, 실제 훈련 샘플에 접근하지 못한 상태에서도 공격 분류기 훈련이 가능하도록 한다.
• 샤로우 모델의 최종 레이어(예: conv6 및 출력 레이어)에서의 모델 출력, 기울기, 로짓을 입력 특징으로 사용해 공격 분류기를 훈련시킨다.
• 실제 데이터 공유 제약 조건을 반영한 중앙집중식 및 피어드 학습 환경을 시뮬레이션하여 공격 성능을 평가한다.
• 멤버십 인식 공격 취약도에 미치는 영향을 평가하기 위해 Adam 옵티마이저를 사용해 차별적 프라이버시(DP-SGD)를 적용한다.
• 훈련 세트에서 1500개의 샘플과 볼 수 없는 세트에서 1500개의 샘플로 구성된 테스트 세트를 사용해 공격 성능을 평가하며, 멤버십 예측 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 뇌 영상에 사용되는 딥 레지션 모델, 예를 들어 뇌 연령 예측에 대해 멤버십 인식 공격가능성이 성공적으로 수행될 수 있는가?
• RQ2 모델 예측 결과나 파라미터만 공개된 경우, 블랙박스 및 화이트박스 멤버십 인식 공격의 효과성은 어떠한가?
• RQ3 실제 훈련 샘플에 접근하지 못하는 것이 멤버십 인식 공격의 실현 가능성이나 정확도에 상당한 영향을 미치는가?
• RQ4 모델 복잡도와 과적합은 멤버십 인식 공격에 대한 취약성에 어떤 영향을 미치는가?
• RQ5 이러한 맥락에서 차별적 프라이버시가 멤버십 인식 공격에 얼마나 효과적으로 완화하는가?

주요 결과

• 뇌 연령 예측을 위한 딥 레지션 모델에 대한 멤버십 인식 공격는 모델 복잡도와 위협 모델에 따라 60%에서 80% 이상의 성공률를 기록한다.
• 실제 훈련 샘플에 접근하지 못하더라도, 동일한 분포에서 샘플을 사용해 훈련된 샤로우 모델을 통해 공격자가 실현 가능한 멤버십 인식을 수행할 수 있으며, 공격 정확도는 약간 감소하지만 여전히 효과적이다.
• 화이트박스 환경에서의 공격 성공률는 블랙박스 환경보다 높지만, 둘 다 복잡도가 높은 모델에서는 매우 효과적이다.
• 모델 과적합과 멤버십 인식 공격 취약성 사이에 강한 경험적 상관관계가 관찰된다.
• 차별적 프라이버시(DP-SGD)는 멤버십 인식 공격에 대한 취약도를 감소시키지만, 비공백의 프라이버시 보장(ϵ < 100)을 확보하기 위해선 뇌 연령 예측 작업에서 모델 성능이 심각하게 저하된다.
• 결과적으로 피어드 학습 환경에서의 모델 공유가 여전히 중요한 프라이버시 리스크를 야기함을 보여주며, 모델 파라미터가 훈련 데이터 소속 정보를 泄露할 수 있음을 시사한다.