[논문 리뷰] GradViT: Gradient Inversion of Vision Transformers

Ali Hatamizadeh, Hongxu Yin외 5명|arXiv (Cornell University)|2022. 03. 22.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

GradViT는 사전 훈련된 CNN를 이미지 사전으로 활용하고, 패치 단위의 총 변동성 정규화 및 동적 손실 스케줄러를 통해 비전 트랜스포머(ViTs)의 기울기를 역으로 추정하고 고해상도 훈련 이미지를 복원하는 새로운 방법을 제안한다. 이는 ViT의 주의 메커니즘에 기인한 정보 泄露로 인해 CNN보다 더 취약한 경향을 드러내며, 기울기 역전파 공격에 있어 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work we demonstrate the vulnerability of vision transformers (ViTs) to gradient-based inversion attacks. During this attack, the original data batch is reconstructed given model weights and the corresponding gradients. We introduce a method, named GradViT, that optimizes random noise into naturally looking images via an iterative process. The optimization objective consists of (i) a loss on matching the gradients, (ii) image prior in the form of distance to batch-normalization statistics of a pretrained CNN model, and (iii) a total variation regularization on patches to guide correct recovery locations. We propose a unique loss scheduling function to overcome local minima during optimization. We evaluate GadViT on ImageNet1K and MS-Celeb-1M datasets, and observe unprecedentedly high fidelity and closeness to the original (hidden) data. During the analysis we find that vision transformers are significantly more vulnerable than previously studied CNNs due to the presence of the attention mechanism. Our method demonstrates new state-of-the-art results for gradient inversion in both qualitative and quantitative metrics. Project page at https://gradvit.github.io/.

연구 동기 및 목표

• 비전 트랜스포머(ViTs)가 배치 정규화 레이어를 포함하지 않음에도 불구하고 기울기 기반 역전파 공격에 얼마나 취약한지 조사하기 위해.
• 기존의 CNN 기반 복원 방법이 아키텍처적 차이로 인해 ViT 기울기에서 고해상도 이미지를 복원하는 데 실패함에 따라, 이를 해결하기 위한 과제를 설정하기 위해.
• ViT의 배치 정규화 통계가 부재함을 보완하기 위해 외부 사전 훈련된 CNN를 이미지 사전으로 활용하는 방법을 개발하기 위해.
• 이웃 패치 간의 불연속성을 최소화하는 패치 사전 손실을 도입하여 재구성된 이미지의 공간 일관성을 복원하기 위해.
• 기울기에서 데이터 泄露에 가장 기여하는 구성 요소를 식별하여 향후 방어 기법 개발에 기여하기 위해.

제안 방법

• 대조 손실을 사용해 사전 훈련된 ResNet-50에서 배치 정규화 통계를 추출하여 이미지 사전으로 활용함으로써 ViT의 자체 BN 레이어가 필요 없도록 함.
• 최적화된 노이즈의 기울기와 ViT 모델의 타겟 기울기를 일치시키기 위해 기울기 일치 손실을 활용함.
• 이웃 패치 간 총 변동성을 최소화하여 공간 일관성을 강화하고 시각적 잡음을 감소시키기 위해 패치 사전 손실을 도입함.
• 기울기 일치, 이미지 사전, 패치 사전 손실의 기여도를 최적화 과정에서 동적으로 조정하는 맞춤형 손실 스케줄링 함수를 적용함.
• 무작위 노이즈를 반복적으로 최적화하여, 타겟 기울기와 자연 이미지의 통계적 특성을 충족하는 이미지를 생성하기 위해 확률적 경사 하강법을 활용함.
• 기울기 역전파에서 정보를 가장 많이 담고 있는 주의 메커니즘의 기여도를 규명하기 위해 추상화 실험을 통해 그 역할을 분리함.

실험 결과

연구 질문

• RQ1 비전 트랜스포머의 기울기에서 고해상도 이미지 복원이 가능할 수 있는가, 특히 배치 정규화 레이어가 없음에도 불구하고?
• RQ2 ViT와 CNN 간의 아키텍처적 차이가 기울기 역전파 공격의 가능성과 품질에 어떤 영향을 미치는가?
• RQ3 ViT 아키텍처의 구성 요소 중에서 다중 헤드 주의(MSA) 또는 MLP 블록 중 어느 것이 기울기에서 데이터 泄露에 더 기여하는가?
• RQ4 ViT 인코더의 어떤 레이어가 기울기 역전파에 가장 유용한 정보를 제공하는가, 그리고 선택적 기울기 공유가 데이터 泄露를 완화할 수 있는가?
• RQ5 사전 훈련된 CNN가 배치 정규화가 없는 모델에서 기울기 역전파에 일반적인 이미지 사전으로 기능할 수 있는가?

주요 결과

• GradViT는 ViT-B/16를 사용해 ImageNet1K에서 PSNR 15.515를 기록하며, 기존 방법들보다 뛰어난 최신 기술 수준의 성능을 달성한다.
• 마지막 세 레이어(9–12)의 기울기가 제거되면 재구성 품질이 심각하게 악화되며, 이는 깊은 레이어가 복원에 가장 중요한 정보를 담고 있음을 시사한다.
• 멀티헤드 자기주의(MSA) 구성 요소가 MLP 구성 요소보다 훨씬 더 높은 재구성 정밀도에 기여하며, MSA 전용 기울기로는 PSNR 13.559, MLP 전용 기울기로는 12.256를 기록한다.
• ViT는 CNN보다 기울기 역전파에 더 취약한 것으로 밝혀졌으며, 더 높은 재현 정밀도와 배치 크기가 30일 때조차도 세부 정보를 복원할 수 있는 능력을 보였다.
• 사전 훈련된 ResNet-50에서 유도된 이미지 사전는 MS-Celeb-1M의 얼굴 이미지 등 다양한 도메인에 일반화되어 있어 그 보편성과 강건성을 입증하였다.
• 제안된 손실 스케줄러는 국소 최소값을 피하고 타당한 재구성을 달성하는 데 핵심적인 역할을 하며, 정적 손실 가중치는 열악한 결과를 초래한다.