[논문 리뷰] Déjà Vu: an empirical evaluation of the memorization properties of ConvNets

Alexandre Sablayrolles, Matthijs Douze외 2명|arXiv (Cornell University)|2018. 09. 17.

Opportunistic and Delay-Tolerant Networks참고 문헌 36인용 수 10

한 줄 요약

이 논문은 현대적인 ConvNets에서의 기억화를 조사하기 위해, 특정 이미지가 훈련에 사용되었는지 여부를 확인할 수 있는 멤버십 인식 공격을 제안한다. 이 공격는 최종 레이어가 가용하지 않을 경우에도 중간 레이어에만 접근 가능할 때도 작동한다. 연구는 ResNet-101과 VGG-16 같은 모델이 훈련 데이터를 기억할 수 있음을 보여주며, 데이터 증강이 적용될 경우 공격 정확도가 크게 떨어짐을 확인한다. 또한, 피니어 테이닝이나 레이어 잘라내기 후에도 낮은 레이어에서 탐지 가능한 기억화 신호가 유지됨을 보여준다.

ABSTRACT

Convolutional neural networks memorize part of their training data, which is why strategies such as data augmentation and drop-out are employed to mitigate overfitting. This paper considers the related question of "membership inference", where the goal is to determine if an image was used during training. We consider it under three complementary angles. We show how to detect which dataset was used to train a model, and in particular whether some validation images were used at train time. We then analyze explicit memorization and extend classical random label experiments to the problem of learning a model that predicts if an image belongs to an arbitrary set. Finally, we propose a new approach to infer membership when a few of the top layers are not available or have been fine-tuned, and show that lower layers still carry information about the training samples. To support our findings, we conduct large-scale experiments on Imagenet and subsets of YFCC-100M with modern architectures such as VGG and Resnet.

연구 동기 및 목표

• 현대적인 ConvNets, 예를 들어 ResNet-101과 VGG-16이 특정 훈련 이미지를 기억하는지, 특히 개인정보 유출과 데이터 泄露 맥락에서 조사하는 것.
• 최종 레이어가 가용하지 않을 경우에도 특정 이미지나 데이터셋 하위집합이 훈련에 사용되었는지 여부를 탐지할 수 있는 멤버십 인식 공격를 개발하고 평가하는 것.
• 데이터 증강(예: 플립, 크롭, 리사이즈)이 기억화 및 공격 성능에 미치는 영향을 분석하고, 개인정보 보호에서의 역할을 평가하는 것.
• 최종 출력이 아닌 중간 특징 표현을 활용하여 전이 학습 또는 피니어 테이닝된 네트워크로의 멤버십 인식을 확장하는 것.
• 랜덤 레이블과 합성 데이터셋을 사용한 제어 실험을 통해 ConvNets가 임의의 이미지 집합을 명시적으로 기억할 수 있는 능력을 실증적으로 제시하는 것.

제안 방법

• 최종 레이어의 즉각적인 대체로 사용할 수 있는 이진 분류기 모델을 제안하며, 모델의 신뢰도 점수를 신호로 사용한다.
• 두 가지 공격 전략을 사용한다: 베이즈 공격(클래스 조건부 확률 밀도 기반)과 모델 정확도 임계값(MAT) 공격(훈련 세트와 보류 세트 간 손실 분포의 차이를 활용).
• 훈련 세트와 보류 세트의 손실 누적분포함수(CDF)를 사용하여 최적의 임계값 τ를 계산하며, 공식 $ \text{accuracy} = \frac{1}{2} + \frac{1}{2}(F_{\text{train}}(\tau) - F_{\text{heldout}}(\tau)) $ 를 통해 공격 정확도를 최대화한다.
• ImageNet과 YFCC-100M에서 VGG-16과 ResNet-101을 사용하여 다양한 데이터 증강 수준(없음, 플립+크롭±5, 플립+크롭)을 적용해 실험을 수행한다.
• 부분 레이어 공격의 경우, 공개 데이터를 사용해 누락된 상단 레이어를 재학습하고, 남은 특징 표현에 대해 베이즈 또는 MAT 공격를 적용한다.
• 다양한 네트워크 레이어(예: 마지막 블록, ResNet의 4번째 스테이지)에서 공격 성능을 평가하여 낮은 레이어에서 기억화가 얼마나 유지되는지 분석한다.

실험 결과

연구 질문

• RQ1 강력한 데이터 증강이 적용되어도 현대적인 ConvNets, 예를 들어 ResNet-101과 VGG-16이 특정 훈련 이미지를 얼마나 기억할 수 있는가?
• RQ2 훈련 세트가 크고 증강된 상태일 때, 모델이 검증 세트의 일부를 훈련에 사용했는지 여부를 멤버십 인식 공격로 탐지할 수 있는가?
• RQ3 예를 들어 피니어 테이닝 또는 전이 학습된 모델에서 최종 레이어가 가용하지 않을 경우, 중간 레이어만 이용해 멤버십 인식을 효과적으로 수행할 수 있는가?
• RQ4 랜덤 크롭핑, 플립 등 데이터 증강이 기억화 능력과 멤버십 인식 공격 성공률에 어떤 영향을 미치는가?
• RQ5 ConvNet이 명시적으로 기억할 수 있는 이미지 수의 상한선은 얼마이며, 이는 모델 용량과 최적화 동역학과 어떤 관련이 있는가?

주요 결과

• 데이터 증강이 없을 경우, ResNet-101과 VGG-16의 최종 레이어에서 멤버십 인식 공격의 정확도는 각각 90.4%와 90.8%에 도달하여 강력한 기억화가 있음을 시사한다.
• 전체 데이터 증강(플립+크롭±5)을 적용할 경우, 공격 정확도는 ResNet-101 기준 77.4%로 떨어지고 VGG-16 기준 79.5%로 떨어지며, 이는 데이터 증강이 기억화 유출을 감소시킴을 보여준다.
• 최종 블록의 특징만 가용할 경우(예: 피니어 테이닝 후), 공격 정확도는 ResNet-101 기준 53.1%, VGG-16 기준 51.7%에 도달하여 중간 레이어에서도 탐지 가능한 기억화 신호가 여전히 존재함을 시사한다.
• 최소한의 증강으로 훈련된 모델의 경우, 중간 레이어(예: ResNet의 4번째 스테이지)에서의 멤버십 인식 공격 정확도는 65.7%에 달하며, 낮은 레이어에서 여전히 중요한 기억화가 유지됨을 보여준다.
• MAT 공격는 랜덤 추측보다 우수하며, 다양한 아키텍처와 증강 수준에서 안정적으로 작동하며, 강력한 데이터 증강 조건에서도 정확도가 항상 50% 이상 유지된다.
• 본 연구는 데이터 증강이 개인정보 보호 기법으로 효과적임을 실증적으로 제시하며, ImageNet과 같은 대규모 데이터셋에서 멤버십 인식 공격의 성공률를 크게 감소시킴을 보여준다.