[논문 리뷰] ConfounderGAN: Protecting Image Data Privacy with Causal Confounder

Qi Tian, Kun Kuang외 4명|arXiv (Cornell University)|2022. 12. 04.

Digital Media Forensic Detection인용 수 4

한 줄 요약

ConfounderGAN은 GAN 기반의 방법으로, 소형이면서 눈에 띄지 않는 노이즈를 생성하여 공변량(컨founder) 성질을 부여함으로써 이미지와 레이블 간에 인위적인 상관관계를 만들어내어 암호화된 데이터에서 딥러닝 모델이 학습할 수 없도록 만든다. 이는 EMN과 같은 최신 기술들보다 개인정보 보호, 이식성, 내성적 안정성 측면에서 다양한 데이터셋과 모델 아키텍처에서 뛰어난 성능을 보인다.

ABSTRACT

The success of deep learning is partly attributed to the availability of massive data downloaded freely from the Internet. However, it also means that users' private data may be collected by commercial organizations without consent and used to train their models. Therefore, it's important and necessary to develop a method or tool to prevent unauthorized data exploitation. In this paper, we propose ConfounderGAN, a generative adversarial network (GAN) that can make personal image data unlearnable to protect the data privacy of its owners. Specifically, the noise produced by the generator for each image has the confounder property. It can build spurious correlations between images and labels, so that the model cannot learn the correct mapping from images to labels in this noise-added dataset. Meanwhile, the discriminator is used to ensure that the generated noise is small and imperceptible, thereby remaining the normal utility of the encrypted image for humans. The experiments are conducted in six image classification datasets, consisting of three natural object datasets and three medical datasets. The results demonstrate that our method not only outperforms state-of-the-art methods in standard settings, but can also be applied to fast encryption scenarios. Moreover, we show a series of transferability and stability experiments to further illustrate the effectiveness and superiority of our method.

연구 동기 및 목표

• 딥러닝 분야에서 공개된 이미지로부터의 비인가된 데이터 수집 및 악용 위험 증가에 대응하기 위해.
• 모델이 비공개 데이터에서 악용 가능한 패턴을 학습하는 것을 방지할 수 있는 실용적인 이미지 암호화 방법을 개발하기 위해.
• 실시간 환경(예: 소셜 미디어 공유)에서 레이블이 없는 이미지에 대해 효율적이고 적용 가능한 암호화를 보장하기 위해.
• 암호화된 이미지가 인간 관찰자에게 사용 가능하고 자연스러운 시각적 품질을 유지하도록 하기 위해.
• 다양한 모델 아키텍처와 데이터 증강 기법에 걸쳐 강력한 이식성과 내성적 안정성을 확보하기 위해.

제안 방법

• 이 방법은 입력 이미지와 레이블 양쪽에 인과적으로 연결된 공변량 노이즈를 도입하여, 모델 학습을 오도하는 인위적인 상관관계를 생성한다.
• 생성망 네트워크는 입력 이미지와 진짜 레이블에 조건을 두어 공변량 노이즈를 생성함으로써, 양쪽과의 강한 상관관계를 확보한다.
• 판별망은 원본 이미지와 노이즈가 감소된 이미지를 비교함으로써 노이즈가 최소화되고 눈에 띄지 않도록 보장한다.
• 생성망은 이중 목적을 통해 훈련되며, 하류 모델의 혼란을 극대화하고, 적대적 피드백을 통해 이미지 품질을 유지한다.
• 이 프레임워크는 사전 학습된 분류기를 활용하여 노이즈 생성을 이끌어내며, 공변량이 레이블 공간과 일치하도록 하여 효과적인 무학습을 달성한다.
• 이 방법은 빠른 추론을 고려하여 반복 최적화 없이도 실시간으로 레이블이 없는 이미지를 암호화할 수 있도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 공변량 기반 프레임워크는 딥러닝 모델이 진짜 이미지-레이블 매핑을 학습하는 것을 효과적으로 방지할 수 있는가?
• RQ2 생성된 노이즈는 다양한 모델 아키텍처(다른 백본을 가진 경우 포함)에서도 강력한 무학습성을 유지할 수 있는가?
• RQ3 이 방법은 일반적으로 훈련에 사용되는 데이터 증강 기법들에 대해 얼마나 효과적인가?
• RQ4 대상 모델이 노이즈 생성기 훈련에 사용된 모델과 다를 경우에도 노이즈는 여전히 강건하고 이식 가능할 수 있는가?
• RQ5 이 방법은 높은 개인정보 보호 수준을 확보하면서도 인간 관찰자에게 시각적 품질과 사용 가능성을 유지할 수 있는가?

주요 결과

• ConfounderGAN은 자연 이미지 및 의료 영상 벤치마크를 포함한 6개의 평가 데이터셋에서 EMN이라는 최신 기술보다 무학습성 측면에서 뛰어난 성능을 보였다.
• 암호화된 데이터로 훈련된 하류 모델에서 조차도 테스트 정확도가 15% 이하로 유지되었으며, 이는 대상 모델 아키텍처가 생성기 훈련에 사용된 것과 다를 경우에도 동일하게 적용되었다.
• 이식성 실험에서 ConfounderGAN은 VGG11, ResNet50, DenseNet121에서 EMN보다 유의미하게 낮은 정확도를 기록하여 다양한 아키텍처 간의 우수한 일반화 능력을 입증했다.
• CutMix 및 Fast Autoaugment를 포함한 7종의 일반적인 데이터 증강 기법에 대해서도 일관되게 낮은 테스트 정확도를 유지하며 효과성을 입증했다.
• 시각화 결과에 따르면 ConfounderGAN은 깃털처럼 생긴 고수준의 노이즈 패턴(예: 깃털 무늬)을 생성하며, 이는 EMN의 무작위 점 패턴보다 더 뛰어난 이식성에 기여할 수 있다.
• 초기 정지 및 적응형 훈련 설정에서도 강건성을 유지하여 실무적 배포 환경에서의 안정성을 확인했다.