[논문 리뷰] Is Private Learning Possible with Instance Encoding?

Nicholas Carlini, Samuel Deng외 7명|arXiv (Cornell University)|2020. 11. 10.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 11

한 줄 요약

이 논문은 비밀 유지 기계 학습이 학습 데이터를 비밀 유지를 위한 학습자에게 공급하기 전에 인스턴스 인코딩을 사용하여 달성될 수 있는지 조사한다. 강력한 개인정보 보호 보장을 위한 이론적 불가능성 결과를 입증하고, 최첨단 인코딩 기법인 InstaHide를 복원 공격을 통해 뚫는 실용적 공격을 시연하며, 인코딩된 데이터에서 원본 이미지의 거의 완벽한 복제를 회복함으로써 이러한 방법이 의미 있는 개인정보 보호를 제공하지 못함을 보여준다.

ABSTRACT

A private machine learning algorithm hides as much as possible about its training data while still preserving accuracy. In this work, we study whether a non-private learning algorithm can be made private by relying on an instance-encoding mechanism that modifies the training inputs before feeding them to a normal learner. We formalize both the notion of instance encoding and its privacy by providing two attack models. We first prove impossibility results for achieving a (stronger) model. Next, we demonstrate practical attacks in the second (weaker) attack model on InstaHide, a recent proposal by Huang, Song, Li and Arora [ICML'20] that aims to use instance encoding for privacy.

연구 동기 및 목표

• 비밀 유지 기계 학습에서 모델 정확도를 희생시키지 않고도 인스턴스 인코딩이 강력한 개인정보 보호 보장을 제공할 수 있는지 조사하기.
• 두 가지 공격 모델을 사용하여 인스턴스 인코딩 기법의 개인정보 보호 및 유용성 요구사항을 체계화하기.
• 주목할 만한 인스턴스 인코딩 방법인 InstaHide의 보안성을 실용적 복원 공격에 대해 평가하기.
• 더 큰 혼합 파라미터를 가진 InstaHide의 더 강력한 변형이 여전히 취약함을 보여주기.
• 인코딩 기반 기법에서의 히ュ리스틱 개인정보 보호 주장이 부족하며, 엄밀하고 반증 가능한 개인정보 보호 정의가 필요하다고 주장하기.

제안 방법

• 임의의 함수 E를 사용하여 학습 데이터를 변환하는 것으로 인스턴스 인코딩을 체계화하고, 인스턴스 및 레이블 인코딩을 분리하기.
• 두 가지 공격 모델 정의: 하나는 인코딩 출력 기반으로 두 개의 학습 데이터셋을 구별하는 공격 모델이고, 다른 하나는 인코딩 혼합물에서 원본 이미지를 복원하는 공격 모델.
• 클러스터링을 활용하고 노이즈가 있는 선형 시스템을 해결하여 원본 이미지를 복원하는 InstaHide에 대한 복원 공격 제안.
• GAN 기반 재색상 조정을 사용하여 InstaHide의 선형 혼합 과정에서 사용된 혼합 가중치와 공개 이미지를 추정하기.
• 구조적 유사도(SSIM)를 사용한 재귀적 빼기 방법을 적용하여 혼합 인코딩에서 개별 비밀 이미지를 격리하고 복원하기.
• 혼합 파라미터 k를 더 크게 확장하여, 노이즈 평균화가 향상되어 복원 정확도가 향상됨을 보여주며, k 증가에 따라 공격 성능 향상

실험 결과

연구 질문

• RQ1 어떤 인스턴스 인코딩 기법이라도 암호 기반 표준에 맞는 구분 불가능성 기반 개인정보 보호 보장을 강력하게 제공할 수 있는가?
• RQ2 인코딩이 비밀 이미지를 은폐하도록 설계되었더라도, 비밀 유지 학습자가 생성한 인코딩된 데이터에서 원본 학습 이미지를 복원하는 것이 가능한가?
• RQ3 InstaHide에서 매 인코딩 예제당 혼합되는 이미지 수(k)를 늘릴 경우 복원 공격의 가능성에 어떤 영향을 미치는가?
• RQ4 InstaHide와 같은 인코딩 기반 방법에서의 히ュ리스틱 개인정보 보호 주장이 엄격한 암호 분석 검토를 통과할 수 있는가?
• RQ5 강력한 개인정보 보호를 위한 이론적 불가능성 결과를 실용적이고 실제 세계의 인코딩 기법인 InstaHide로 확장할 수 있는가?

주요 결과

• 이론적 분석을 통해 어떤 유용한 인스턴스 인코딩도 비실질적 확률로 구별 공격을 저지할 수 없음을 입증하며, 강력한 개인정보 보호 주장이 무효화됨을 보여줌.
• 실용적 복원 공격이 InstaHide 챌린지 데이터셋에서 모든 비밀 이미지를 69%의 성공률로 회복하고, 85%의 경우에서 최소 2/3 이상의 이미지를 회복함.
• 단일 인코딩 이미지와 공개 파rameters를 완전히 알고 있는 상황에서도 공격이 거의 완벽한 수준으로 이미지를 복원함으로써 심각한 취약성이 드러남.
• 혼합 파라미터 k가 증가할수록 공격이 더욱 효과적으로 작용함을 보여주며, 이는 더 큰 k가 보안을 향상시킨다는 주장과 정면으로 배치됨.
• GAN 기반 재색상 조정 단계가 혼합 가중치를 정확하게 추정할 수 있게 하여 재귀적 빼기 단계의 성공에 핵심적인 역할을 함.
• 더 큰 k 값으로 확장된 InstaHide의 변형은 개인정보 보호를 향상시키지 못함. k가 커질수록 공개 이미지의 노이즈가 점점 무시할 수 없게 되기 때문임.