[논문 리뷰] Differentially Private CutMix for Split Learning with Vision Transformer

Seungeun Oh, Jihong Park외 6명|arXiv (Cornell University)|2022. 10. 28.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 시각 Transformer(ViT)를 위한 차별적(private) 분할 학습 프레임워크인 DP-CutMixSL을 제안한다. 이는 패치 수준의 무작위 CutMix를 사용하여 프라이버시와 통신 효율성을 향상시킨다. 스며든 데이터에서 가우시안 노이즈를 주입하고 무작위 패치를 교체함으로써, DP-SL과 DP-MixSL보다 높은 정확도와 더 견고한 프라이버시 보장을 달성하며, 이론적 분석을 통해 CutMix 연산을 통한 레니 지수 차별적 프라이버시(Rényi differential privacy)의 증폭을 보여준다.

ABSTRACT

Recently, vision transformer (ViT) has started to outpace the conventional CNN in computer vision tasks. Considering privacy-preserving distributed learning with ViT, federated learning (FL) communicates models, which becomes ill-suited due to ViT' s large model size and computing costs. Split learning (SL) detours this by communicating smashed data at a cut-layer, yet suffers from data privacy leakage and large communication costs caused by high similarity between ViT' s smashed data and input data. Motivated by this problem, we propose DP-CutMixSL, a differentially private (DP) SL framework by developing DP patch-level randomized CutMix (DP-CutMix), a novel privacy-preserving inter-client interpolation scheme that replaces randomly selected patches in smashed data. By experiment, we show that DP-CutMixSL not only boosts privacy guarantees and communication efficiency, but also achieves higher accuracy than its Vanilla SL counterpart. Theoretically, we analyze that DP-CutMix amplifies Rényi DP (RDP), which is upper-bounded by its Vanilla Mixup counterpart.

연구 동기 및 목표

• 시각 Transformer(ViT)에서 분할 학습(SL)의 프라이버시 및 통신 비효율 문제를 해결한다. 이는 스며든 데이터와 원본 입력 간의 높은 유사성으로 인해 발생한다.
• 대규모 ViT 모델에 대해 표준 FL이 높은 통신 및 에너지 비용으로 인해 한계를 가진다는 점을 해결한다.
• ViT의 패치 기반 아키텍처에 적합한 프라이버시 보존형 클라이언트 간 내삽(interpolation) 메커니즘을 개발한다.
• 새로운 패치 수준의 무작위 CutMix 연산을 통해 차별적 프라이버시(DP) 보장을 이론적으로 분석하고, 향상된 성능을 입증한다.
• 기존의 DP-SL 및 DP-MixSL 기준 방법 대비 더 나은 정확도-프라이버시 트레이드오프를 달성한다.

제안 방법

• ViT를 위한 패치 수준의 무작위 CutMix를 사용하는 차별적 프라이버시 분할 학습 프레임워크인 DP-CutMixSL을 도입한다.
• 스며든 데이터에 노이즈를 주입하기 위해 가우시안 메커니즘을 적용하여 차별적 프라이버시를 확보한다.
• 선택된 패치를 마스킹하기 위해 무작위 이진 시퀀스를 사용하여 컷아웃 스며든 데이터를 생성한다.
• 패치 교체를 제어하기 위해 딜리클 분포 다항분포를 사용해 혼합 비율을 생성한다.
• 여러 클라이언트의 컷아웃 데이터를 결합하여 DP-CutMix 스며든 데이터를 생성하고, 전방 전파를 수행한다.
• 이론적으로 메서드의 레니 지수 차별적 프라이버시(RDP)를 경계하며, CutMix 연산을 통한 증폭을 보여준다.

실험 결과

연구 질문

• RQ1 표준 DP-SL에 비해 패치 수준의 무작위 CutMix가 분할 학습에서 시각 Transformer(ViT)의 프라이버시 보장을 향상시킬 수 있는가?
• RQ2 제안된 DP-CutMixSL 프레임워크는 ViT 기반 분할 학습에서 정확도-프라이버시 트레이드오프에 어떤 영향을 미치는가?
• RQ3 클라이언트 간 데이터 혼합에서 패치 수준의 내삽이 경계 상자 기반 또는 글로벌 미스업 방법보다 우월한가?
• RQ4 ViT 분할 학습 맥락에서 CutMix 연산이 차별적 프라이버시를 얼마나 증폭시키는가?
• RQ5 혼합 그룹 크기가 DP-CutMixSL에서 프라이버시(ε)와 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• ViT-Tiny를 사용한 CIFAR-10에서 DP-CutMixSL은 최고의 정확도(73.77%)를 기록하여 DP-SL 및 DP-MixSL를 능가한다.
• 노이즈 분산이 16/255일 때 DP-CutMixSL은 DP-MixSL에 비해 약간 낮은 정확도를 보였지만, 더 견고한 RDP 경계를 유지한다.
• DP-SL보다 더 견고한 레니 지수 차별적 프라이버시(RDP) 경계를 확보하여 더 강력한 프라이버시 증폭을 나타낸다.
• 혼합 그룹 크가 증가함에 따라 프라이버시(ε)와 정확도가 모두 감소하며, '모두가 함께 숨는 효과'와 정보 손실의 트레이드오프를 보여준다.
• 2~10명의 클라이언트에서 CutMixSL의 확장성은 유지되며, 클라이언트 수가 많을수록 정확도가 증가하고, SplitFed의 가중치 평균화와 조합할 경우 추가로 향상된다.
• 제안된 패치 수준의 CutMix는 경계 상자 기반의 Vanilla CutMix보다 효과적이며, PiT-Tiny에서 71.26%의 정확도를 기록하여 Vanilla CutMix의 58.21%보다 높다.