[논문 리뷰] Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning

Sihun Baek, Jihong Park외 4명|arXiv (Cornell University)|2022. 07. 01.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 비전 트랜스포머(ViT)를 위한 새로운 분할 학습 프레임워크인 CutMixSL을 제안한다. 이는 랜덤으로 마스킹되고 압축된 은닉 표현인 CutSmashed 데이터를 도입함으로써 정확도, 통신 효율성, 데이터 프라이버시를 향상시킨다. 분할 학습 중 CutMix 스타일의 데이터 증강을 활용함으로써 CutMixSL은 업로드 페이로드를 20–50% 감소시키고, 프라이버시 泄露를 약 8배 줄이며, 기준선 대비 상위-1 정확도를 최대 18.5% 향상시킨다.

ABSTRACT

This article seeks for a distributed learning solution for the visual transformer (ViT) architectures. Compared to convolutional neural network (CNN) architectures, ViTs often have larger model sizes, and are computationally expensive, making federated learning (FL) ill-suited. Split learning (SL) can detour this problem by splitting a model and communicating the hidden representations at the split-layer, also known as smashed data. Notwithstanding, the smashed data of ViT are as large as and as similar as the input data, negating the communication efficiency of SL while violating data privacy. To resolve these issues, we propose a new form of CutSmashed data by randomly punching and compressing the original smashed data. Leveraging this, we develop a novel SL framework for ViT, coined CutMixSL, communicating CutSmashed data. CutMixSL not only reduces communication costs and privacy leakage, but also inherently involves the CutMix data augmentation, improving accuracy and scalability. Simulations corroborate that CutMixSL outperforms baselines such as parallelized SL and SplitFed that integrates FL with SL.

연구 동기 및 목표

• 비전 트랜스포머(ViT)의 분할 학습에서 높은 통신 비용과 프라이버시 泄露 문제를 해결하기 위해, 입력 이미지와 유사하게 크고 비정형적인 스매시드 데이터를 다루는 데 초점을 맞춘다.
• 모델 크기와 통신 오버헤드로 인해 기존의 분할 학습 및 피어드레이티드 학습이 큰 ViT 모델을 다루는 데에 한계를 가진다는 점을 극복하기 위한 것이다.
• 분할 학습 파이프라인에 데이터 증강을 통합함으로써 분산된 ViT 학습의 확장성과 정확도를 향상시키기 위한 것이다.
• 원시 데이터를 공유하지 않으면서도 복원 기반 프라이버시 泄露를 줄이는 프라이버시 보존 메커니즘을 개발하기 위한 것이다.

제안 방법

• 클라이언트는 분할 레이어에서 은닉 표현(스매시드 데이터)에 상호 배타적인 랜덤 마스크를 적용함으로써 공유된 가짜 난수 시퀀스 생성기를 사용해 CutSmashed 데이터를 생성한다.
• 서버는 다수의 클라이언트로부터 온 마스킹된 CutSmashed 데이터를 집계하여 CutMix 데이터를 형성하고, 이를 전방 및 역방향 전파에 사용한다.
• 공유된 가짜 난수 시퀀스는 클라이언트와 서버 간에 원시 데이터 폭 드러남 없이 마스크의 상호 배타성을 보장한다.
• 이 방법은 분할 학습 과정에 패치 CutMix 데이터 증강을 통합하여 모델의 일반화 능력과 인덕티브 바이어스를 향상시킨다.
• 클라이언트는 비제로 마스킹 패치만 업로드하므로 통신 페이로드가 감소하고 정보 泄露가 제한된다.
• 이 프레임워크는 병렬 분할 학습에서 관찰되는 업데이트 불균형 문제를 피함으로써 확장성을 지원한다.

실험 결과

연구 질문

• RQ1 CutSmashed 데이터는 ViT 기반 분할 학습에서 통신 오버헤드를 줄이면서도 모델 정확도를 유지할 수 있는가?
• RQ2 CutMixSL은 병렬 분할 학습 및 SplitFed와 비교해 프라이버시 泄露와 통신 효율성 측면에서 어떻게 다른가?
• RQ3 분할 학습에 CutMix 스타일 증강을 통합함으로써 ViT 성능 향상에 어느 정도 기여하는가?
• RQ4 CutSmashed 표현에서 마스킹된, 셔플된 데이터의 사용은 복원 공격 위험을 줄이는가?
• RQ5 클라이언트 수가 증가함에 따라 CutMixSL은 성능 저하 없이 효과적으로 확장 가능한가?

주요 결과

• CutMixSL은 마스킹 비율과 그룹 크기에 따라 기준선 병렬 분할 학습 대비 통신 페이로드를 20–50% 감소시킨다.
• 표준 스매시드 데이터와 비교해 복원 평균 제곱 오차(MSE)로 측정한 프라이버시 泄露는 약 8배 감소한다.
• 기준선 분할 학습 대비 상위-1 정확도가 최대 18.5% 향상되었으며, CutMixSFL은 10개 클라이언트에서 80.97%의 정확도를 달성했다.
• CutMixSL은 뛰어난 확장성을 보이며, 10개 클라이언트에서 12.9%의 성능 향상을 기록해 병렬 SL 및 SplitFed를 모두 능가했다.
• 셔플된 CutMix 마스크는 프라이버시 보호를 강화하여 표준 CutMix 대비 복원 오차를 3배 증가시켰다.
• 이 방법은 분할 학습에서 발생하는 업데이트 불균형 문제를 효과적으로 완화하여 더 많은 클라이언트에서 일관된 성능 향상을 가능하게 했다.