[논문 리뷰] Protecting Split Learning by Potential Energy Loss

Fei Zheng, Chaochao Chen외 6명|arXiv (Cornell University)|2022. 10. 18.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 손실 함수를 통해 동일 클래스의 출력을 결합 경계로 이동시켜 공격자의 일반화 오차를 증가시킴으로써 분할 학습에서 레이블 泄露 공격에 대한 일반화 성능을 향상시키는 새로운 정규화 방법인 잠재 에너지 손실(PELoss)을 제안한다. 전자기적 반발력과 유사한 상호 클래스 출력의 반발력을 모델링함으로써, PELoss는 하위 모델의 출력을 더 복잡하게 만들고, 적은 수의 레이블 샘플로의 피지컬 튜닝을 어렵게 하여 공격자의 정확도를 크게 감소시키지만, 수용 가능한 모델 성능을 유지한다.

ABSTRACT

As a practical privacy-preserving learning method, split learning has drawn much attention in academia and industry. However, its security is constantly being questioned since the intermediate results are shared during training and inference. In this paper, we focus on the privacy leakage from the forward embeddings of split learning. Specifically, since the forward embeddings contain too much information about the label, the attacker can either use a few labeled samples to fine-tune the top model or perform unsupervised attacks such as clustering to infer the true labels from the forward embeddings. To prevent such kind of privacy leakage, we propose the potential energy loss to make the forward embeddings become more 'complicated', by pushing embeddings of the same class towards the decision boundary. Therefore, it is hard for the attacker to learn from the forward embeddings. Experiment results show that our method significantly lowers the performance of both fine-tuning attacks and clustering attacks.

연구 동기 및 목표

• 공격자가 소수의 레이블 샘플만으로도 레이블을 재구성하고 하위 모델을 피지컬 튜닝할 수 있는 분할 학습에서의 개인정보 泄露 위험을 해결한다.
• 기본적인 분할 학습에서 동일 클래스의 출력이 밀집된 분포를 이루는 것이 핵심 문제임을 규명한다. 이는 적대자가 효과적으로 피지컬 튜닝할 수 있도록 한다.
• 개인정보 보호 문제를 일반화 오차 최대화 문제로 재정의한다: 소수의 레이블 샘플로 일반화하기 어려운 상황을 만든다.
• 물리적 영감을 얻은 손실 함수인 잠재 에너지 손실(PELoss)을 제안한다. 이는 동일 클래스의 출력을 결정 경계로 이동시켜 공격자의 불확실성을 증가시킨다.
• 기존 방법들인 거리 상관관계 손실(DcorLoss)과 비교해 PELoss가 더 강력한 개인정보 보호 성능을 보이며, 더 우수한 안정성과 성능 트레이드오프를 확보함을 입증한다.

제안 방법

• 하위 모델의 특징 공간에서 동일 클래스의 모든 출력 쌍 간의 반발력을 모델링하는 잠재 에너지 손실 항목을 도입한다.
• 손실 함수는 동일 클래스의 출력 간 역수 거리의 합으로 정의되며, 하이퍼파ram터 α에 의해 스케일링되어, 출력들이 결정 경계 쪽으로 퍼지도록 유도한다.
• PELoss를 정규화 항으로 통합하여 분할 학습 학습 중에 사용함으로써, 동일 클래스의 출력이 더 뭉쳐지지 않고 산만하게 퍼지도록 손실 경로를 수정한다.
• 표준 분할 학습 통신 및 최적화 프로토콜을 유지하면서 PELoss를 사용해 하위 모델을 학습한다.
• 하이퍼파ram터 α를 통해 반발력 강도를 제어한다: α가 클수록 동일 클래스의 뭉친 클러스터에 대한 페널티가 증가한다.
• 수렴성과 강건성을 확보하기 위해 조기 정지 및 모델 저장 전략을 적용하며, 테스트 정확도와 공격자 피지컬 튜닝 성능을 모두 평가한다.

Figure 1: Label leakage attack of split learning.

실험 결과

연구 질문

• RQ1 하위 모델의 출력 분포를 수정함으로써 분할 학습에서 레이블 泄露 공격의 성공률을 낮출 수 있는가?
• RQ2 소수의 레이블 샘플로 하위 모델을 피지컬 튜닝하는 공격자가 동일 클래스의 출력을 결정 경계로 이동시키면 일반화 오차가 증가하는가?
• RQ3 제안된 잠재 에너지 손실은 거리 상관관계 손실(DcorLoss)과 같은 기존 방법에 비해 개인정보 보호 성능과 모델 성능 측면에서 어떻게 비교되는가?
• RQ4 반발력 강도가 증가함에 따라 다양한 데이터셋과 하이퍼파ram터 설정에서 제안된 방법이 안정적인가?
• RQ5 PELoss는 메인 학습 과제의 수렴 속도와 최종 정확도에 어떤 영향을 미치는가?

주요 결과

• PELoss는 MNIST, Fashion-MNIST, CIFAR-10 모든 데이터셋에서 공격자의 피지컬 튜닝 정확도를 크게 감소시켰으며, α ≥ 8일 경우 기준선(동일한 泄露 레이블로 새로 학습하는 것)보다도 공격자의 정확도가 낮아졌다.
• 평균적으로, 동일한 테스트 정확도 수준에서 PELoss는 DcorLoss보다 공격자 정확도가 낮아, 더 뛰어난 개인정보 보호 능력을 입증한다.
• PELoss 곡선은 DcorLoss보다 더 매끄럽고 α에 더 민감하게 반응하여, 개인정보 보호와 성능 간의 더 나은 예측 가능한 트레이드오프를 가능하게 한다.
• 고 α 값(예: α = 16)에서도 PELoss 학습은 안정적이지만, 유사 조건에서 DcorLoss는 자주 수렴 불안정을 보였다.
• PELoss를 사용해도 수렴 속도는 약간만 느려지며, 학습 효율성에 미미한 영향을 미쳐 실세계 구현에 실용적이다.
• t-SNE 시각화 결과, PELoss가 동일 클래스의 출력을 효과적으로 퍼뜨려 클러스터가 겹쳐지고 분리가 어려워지는 것을 확인했다. 특히 모델의 능력이 높은 CIFAR-10에서 이 현상이 뚜렷하게 나타났다.

Figure 2: A small error on the decision region caused by small sample size (left) leads to a large generalization error (right).