[논문 리뷰] SCOTCH: An Efficient Secure Computation Framework for Secure Aggregation

Yash More, Prashanthi Ramachandran외 4명|arXiv (Cornell University)|2022. 01. 19.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

SCOTCH는 비중앙집중적이고 효율적인 보안 계산 프레임워크로, 피어 투 피어 학습에서 기밀 공유와 MPC 기반 원리를 사용하여 다수의 당사자와 서버 간에 기밀 보장된 모델 집합을 가능하게 한다. 이 프레임워크는 통신 오버헤드를 최소화하면서도 높은 모델 정확도를 달성한다. MNIST에서 96.57%, EMNIST에서 98.40%의 정확도를 기록했으며, 각 훈련 라운드당 O(2mn)의 암호화 연산만으로도 강력한 기밀 보장 기능을 제공한다.

ABSTRACT

Federated learning enables multiple data owners to jointly train a machine learning model without revealing their private datasets. However, a malicious aggregation server might use the model parameters to derive sensitive information about the training dataset used. To address such leakage, differential privacy and cryptographic techniques have been investigated in prior work, but these often result in large communication overheads or impact model performance. To mitigate this centralization of power, we propose SCOTCH, a decentralized m-party secure-computation framework for federated aggregation that deploys MPC primitives, such as secret sharing. Our protocol is simple, efficient, and provides strict privacy guarantees against curious aggregators or colluding data-owners with minimal communication overheads compared to other existing state-of-the-art privacy-preserving federated learning frameworks. We evaluate our framework by performing extensive experiments on multiple datasets with promising results. SCOTCH can train the standard MLP NN with the training dataset split amongst 3 participating users and 3 aggregating servers with 96.57% accuracy on MNIST, and 98.40% accuracy on the Extended MNIST (digits) dataset, while providing various optimizations.

연구 동기 및 목표

• 중앙 집계자가 모델 업데이트로부터 민감한 데이터를 유추할 수 있는 피어 투 피어 학습의 기밀 위험을 해결하기 위해.
• MPC나 차등적 개인정보 보호 기반 기존 프레임워크의 통신 및 계산 오버헤드를 줄이기 위해.
• 중앙 집계의 단일 장애 지점 문제를 제거하기 위해 다수의 서버 간에 비중앙집중적 모델 집합을 가능하게 하기 위해.
• 보안 다자간 계산을 사용하여 훈련 데이터, 중간 모델 가중치, 최종 모델 파라미터에 이르기까지 종단 간 기밀 보호를 제공하기 위해.
• 실제 개인정보 민감한 기계 학습 응용 분야에 적합한 실용적이고 효율적이며 확장 가능한 프레임워크를 설계하기 위해.

제안 방법

• 프레임워크는 m명의 당사자와 n명의 집계자 간에 모델 업데이트를 기밀 공유 방식으로 분산 배포하여, 어떤 단일 기관도 원래 데이터를 재구성할 수 없도록 보장한다.
• 표준 MPC 프로토콜을 사용하여 입력을 드러내지 않은 채로 공유된 값에 대한 산술 연산을 수행하기 위해 보안 외주 계산을 활용한다.
• 시스템은 정직하지만 호기심 많은 위협 모델에서 작동하며, 호기심 많은 집계자와 공모하는 데이터 소유자로부터 보호한다.
• 모델 집합은 정수 및 고정소수점 산술에서의 덧셈 기반 기밀 공유를 사용하며, 구성 가능한 정밀도(정수 부분에 l_w 비트, 소수 부분에 l_f 비트)를 지원한다.
• 최적화된 암호화 연산을 통해 각 훈련 라운드당 오버헤드를 O(2mn)로 줄여 통신 비용을 최소화한다.
• 실험은 MLP를 사용한 MNIST, EMNIST, FMNIST 데이터셋에서 수행되었으며, 다양한 비트 길이 설정에서 정밀도와 성능을 분석하였다.

실험 결과

연구 질문

• RQ1 기존 MPC 기반 접근 방식과 비교해 볼 때, 비중앙집중적 피어 투 피어 학습 프레임워크가 최소한의 통신 오버헤드로 강력한 기밀 보장을 달성할 수 있는가?
• RQ2 기밀 공유 기반 보안 집합이 다자 피어 투 피어 학습에서 모델 정확도와 훈련 효율성에 어떤 영향을 미치는가?
• RQ3 MPC 제약 조건 하에서 보안 신경망 훈련에 최적의 정밀도(비트 길이)는 무엇인가?
• RQ4 중간 모델 가중치와 최종 모델 파라미터가 유추 공격으로부터 보호되면서도 높은 모델 정확도를 유지할 수 있는가?
• RQ5 시스템에 참여하는 당사자 및 집계자의 수가 증가함에 따라 통신 및 계산 비용은 어떻게 변화하는가?

주요 결과

• SCOTCH는 3명의 사용자와 3대의 서버를 통해 모델 업데이트를 기밀로 집계하는 표준 MLP를 사용하여 MNIST 데이터셋에서 96.57%의 테스트 정확도를 달성했다.
• 확장된 MNIST(숫자) 데이터셋에서 98.40%의 정확도를 기록하여 다중 클래스 분류 작업에서 뛰어난 성능을 입증했다.
• 암호화 오버헤드를 각 훈련 라운드당 O(2mn)로 줄여, 이전 최고 수준의 프레임워크에 비해 통신 비용을 크게 낮췄다.
• 13–16비트에서 24–32비트로 정밀도를 높임에 따라 MLP에서 성능 향상이 관찰되었으며, 특히 다중 클래스 분류와 같은 복잡한 작업에서 두드러졌다.
• 기존 접근 방식과 비교해 유사한 모델 유효성과 기밀 보장 기능을 유지하면서도 훈련 시간과 통신 효율성을 크게 향상시켰다.
• 모든 코드와 실험 결과는 재현성 및 향후 연구를 위해 https://github.com/arupmondal-cs/SCOTCH 에 공개되어 있다.