[논문 리뷰] Differentially Private Label Protection in Split Learning

Xin Yang, Jiankai Sun외 3명|arXiv (Cornell University)|2022. 03. 04.

Privacy-Preserving Technologies in Data인용 수 17

한 줄 요약

이 논문은 TPSL(Transcript Private Split Learning)을 제안한다. TPSL은 공유되는 기울기 상에 미분적 비밀보장성을 적용하여 레이블 기밀성을 보호하는 새로운 스플릿 학습 프레임워크이다. 라플라스 또는 이산 노이즈를 사용한 표적 기울기 흐름을 적용함으로써 TPSL은 최소한의 유틸리티 손실로 $(2\epsilon, 0)$-미분적 비밀보장성을 보장하며, 대규모 데이터셋에서 기존 기준 대비 유틸리티-기밀성 트레이드오프에서 뛰어난 성능을 보인다.

ABSTRACT

Split learning is a distributed training framework that allows multiple parties to jointly train a machine learning model over vertically partitioned data (partitioned by attributes). The idea is that only intermediate computation results, rather than private features and labels, are shared between parties so that raw training data remains private. Nevertheless, recent works showed that the plaintext implementation of split learning suffers from severe privacy risks that a semi-honest adversary can easily reconstruct labels. In this work, we propose extsf{TPSL} (Transcript Private Split Learning), a generic gradient perturbation based split learning framework that provides provable differential privacy guarantee. Differential privacy is enforced on not only the model weights, but also the communicated messages in the distributed computation setting. Our experiments on large-scale real-world datasets demonstrate the robustness and effectiveness of extsf{TPSL} against label leakage attacks. We also find that extsf{TPSL} have a better utility-privacy trade-off than baselines.

연구 동기 및 목표

• 스플릿 학습에서 기울기로부터 레이블을 재구성할 수 있는 심각한 기밀성 취약점을 해결하기 위해.
• 모델 가중치 뿐 아니라 스플릿 학습에서 공유되는 통신 전사(기울기)에 대해서도 증명 가능한 미분적 비밀보장 보장을 제공하기 위해.
• 복잡한 MPC나 상당한 오버헤드 없이, 미분적 비밀보장을 스플릿 학습에 효율적이고 일반적인 방식으로 통합할 수 있는 프레임워크를 설계하기 위해.
• 수직 분산학습 환경에서 기존 DP 방법에 비해 유틸리티-기밀성 트레이드오프를 향상시키기 위해.

제안 방법

• 스플릿 학습 중에 당사자 간에 교환되는 기울기에 대해 미분적 비밀보장을 적용하는 TPSL이라는 스플릿 학습 프레임워크를 제안한다.
• 유틸리티를 유지하기 위해 올바른 클래스 기울기의 최적 방향에만 노이즈를 첨가하는 GradPerturb라는 기울기 흐름 메커니즘을 도입한다.
• 다중 클래스 라플라스 또는 이산 흐름 분포를 사용하여, 흐름이 첨가진 기울기에 대해 $(\epsilon, 0)$-DP를 보장한다.
• 모든 공유 메시지를 고려한 프로토콜의 전반적인 특성에 따라 기반한 전사 기반 기밀성 정의를 사용하여 레이블 기밀성을 측정한다.
• 기울기 클리핑이나 전체 레이어에 노이즈를 주입할 필요 없이, 백워드 패스 기울기 상에만 노이즈를 적용한다.
• 모델 파rameter뿐 아니라 전체 통신 전사가 미분적 비밀보장되도록 보장하여 종단 간 기밀성을 확보한다.

실험 결과

연구 질문

• RQ1 스플릿 학습에서 공유되는 기울기에 대해 미분적 비밀보장을 효과적으로 적용하여 레이블 泄露를 방지할 수 있는가?
• RQ2 강력한 기밀성 보장을 달성하면서도 모델 유틸리티를 유지할 수 있는 기울기 흐름 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 기존 기준 대비 DP 강화된 스플릿 학습 프레임워크의 유틸리티-기밀성 트레이드오프는 어떠한가?
• RQ4 모델 가중치가 아니라 전사(즉, 모든 공유 메시지)에 대해 증명 가능한 미분적 비밀보장을 달성할 수 있는가?

주요 결과

• TPSL은 전사에 대해 증명 가능한 $(2\epsilon, 0)$-미분적 비밀보장을 달성하여, 공식적인 위협 모델 하에서 레이블 기밀성을 보장한다.
• 방향성 노이즈(GradPerturb를 통해)를 사용할 경우, 등방성 노이즈 또는 기존 DP 방법에 비해 더 나은 유틸리티-기밀성 트레이드오프를 달성한다.
• 대규모 실세계 데이터셋에서의 실험을 통해 TPSL이 고도로 정밀한 레이블 재구성 공격에 효과적으로 저항하면서도 높은 모델 정확도를 유지함을 확인하였다.
• 프레임워크는 표준 스플릿 학습과 유사한 최소한의 계산 및 통신 오버헤드를 유발하여 실세계 구현에 실용적이다.