[논문 리뷰] InstaHide: Instance-hiding Schemes for Private Distributed Learning

Yangsibo Huang, Zhao Song외 2명|arXiv (Cornell University)|2020. 10. 06.

Privacy-Preserving Technologies in Data참고 문헌 70인용 수 19

한 줄 요약

InstaHide는 개인 정보를 보호하는 분산 딥 러닝을 위한 경량이며 효율적인 인스턴스 숨기기 기법으로, 공개 또는 비공개 이미지와의 무작위 혼합 및 픽셀 단위의 부호 전환을 통해 훈련 이미지를 암호화하는 일회성 비밀 키를 사용한다. 모델 정확도에 최소한의 손실을 초래하면서도 기존의 공격(예: 모멘트 분석 및 유사도 클러스터링 기반 공격)에 저항하며, 기존 피어드 페더레이티드 러닝 파이프라인에 쉽게 통합 가능하며 강력한 개인정보 보호 보장을 제공한다.

ABSTRACT

How can multiple distributed entities collaboratively train a shared deep net on their private data while preserving privacy? This paper introduces InstaHide, a simple encryption of training images, which can be plugged into existing distributed deep learning pipelines. The encryption is efficient and applying it during training has minor effect on test accuracy. InstaHide encrypts each training image with a "one-time secret key" which consists of mixing a number of randomly chosen images and applying a random pixel-wise mask. Other contributions of this paper include: (a) Using a large public dataset (e.g. ImageNet) for mixing during its encryption, which improves security. (b) Experimental results to show effectiveness in preserving privacy against known attacks with only minor effects on accuracy. (c) Theoretical analysis showing that successfully attacking privacy requires attackers to solve a difficult computational problem. (d) Demonstrating that use of the pixel-wise mask is important for security, since Mixup alone is shown to be insecure to some some efficient attacks. (e) Release of a challenge dataset https://github.com/Hazelsuko07/InstaHide_Challenge Our code is available at https://github.com/Hazelsuko07/InstaHide

연구 동기 및 목표

• HIPAA나 GDPR과 같은 개인정보 보호 규정을 위반하지 않고 분산된 기관 간에 개인 데이터를 기반으로 공유된 딥 네트워크를 훈련시키는 데 도전하는 것.
• 차별적 프라이버시나 고비용 암호화 기법이 높은 계산 오버헤드 또는 심각한 정확도 손실을 야기하는 데 비해 실용적이고 효율적인 대안을 제공하는 것.
• 모델 업데이트가 차별적 프라이버시로 보호되어도, 공격자가 개별 훈련 이미지를 복구할 수 없도록 하는 기법을 개발하는 것.
• 기존 딥 러닝 프레임워크에 최소한의 변경으로 통합 가능하게 하는 것.
• 도전 과제 데이터셋을 공개하여 암호 분석 연구를 촉진하고, 더 나은 공격 기법에 대한 연구를 장려하는 것.

제안 방법

• 목표 이미지와 비공개 또는 공개 데이터셋(예: ImageNet)에서 무작위로 선택한 k−1장의 이미지의 무작위 선형 조합으로 구성된 일회성 비밀 키를 사용해 각 훈련 이미지를 암호화한다.
• 혼합된 이미지에 무작위 픽셀 단위의 부호 전환을 적용하여 원본 이미지를 효과적으로 숨기지만, 레이블 정보는 유지한다.
• 각 이미지당 비밀 키를 한 번만 사용하여 일회용 사용을 보장하고, 키 재사용 공격을 방지한다.
• 암호학에서의 랜덤 오라클과 유사하게, 대규모 공개 데이터셋(예: ImageNet)의 통계적 성질을 무작위성의 원천으로 활용한다.
• 훈련 중 기존 이미지를 암호화된 버전으로 대체함으로써 피어드 페더레이티드 러닝 파이프라인에 원활하게 통합된다.
• 두 단계 방어 전략을 적용한다: 공개 데이터로 혼합하여 공격자 검색 공간을 증가시키고, 부호 전환을 통해 모멘트 기반 공격에 의한 복구를 방지한다.

실험 결과

연구 질문

• RQ1 모델 정확도를 유지하면서도 공격자가 개별 훈련 이미지를 복구할 수 없도록 하는 가벼우며 효율적인 이미지 암호화 기법을 설계할 수 있는가?
• RQ2 InstaHide는 모멘트 기반 복구 및 유사도 클러스터링 공격과 같은 알려진 공격에 얼마나 효과적으로 저항하는가?
• RQ3 혼합에 사용하는 대규모 공개 데이터셋(예: ImageNet)과 비공개 데이터 간의 차이가 보안성과 정확도에 어떤 영향을 미치는가?
• RQ4 Mixup와 무작위 부호 전환의 조합이 Mixup 단독보다 더 강력한 프라이버시 보장을 제공할 수 있는가?
• RQ5 오직 기울기만 노출되는 실제 페더레이티드 러닝 환경에서 InstaHide는 어떻게 성능을 발휘하는가?

주요 결과

• k=6일지라도 CIFAR-10 및 ImageNet에서 정확도 저하가 2% 미만으로 최소화되어 훈련 시 InstaHide가 매우 우수한 성능을 발휘한다.
• 실제 이미지의 비정규분포 성질과 k의 증가로 인해, 가우시안 분포 이미지의 고차수 통계를 악용하는 Braverman의 모멘트 기반 공격에 저항한다.
• Carlini 등이 제시한 클러스터링 기반 공격은 100장의 비공개 이미지로 구성된 도전 과제 데이터셋에서는 효과적이지만, O(n³) 복잡도로 인해 대규모 데이터셋에서는 계산적으로 비현실적이다.
• ImageNet과 같은 대규모 공개 데이터셋을 사용하면 공격자의 검색 공간이 크게 증가하여 보안성이 향상된다.
• 무작위 부호 전환은 보안에 필수적이며, 선형적 특성을 악용하는 효율적 공격에 노출되는 Mixup 단독의 경우는 취약하다.
• 저자들이 공개한 도전 과제 데이터셋은 새로운 암호 분석 노력의 촉매가 되었으며, 알려진 공격 모델 하에서 기법의 강건성을 입증했다.