[논문 리뷰] Secure Sum Outperforms Homomorphic Encryption in (Current) Collaborative Deep Learning

Derian Boer, Stefan Krämer|arXiv (Cornell University)|2020. 06. 02.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 수평적으로 분할된 데이터에서 공동으로 수행하는 딥러닝을 위한 히든 엔크립션(HE)보다 더 효율적인 대안으로 비밀 공유 기반의 안전한 합계 프로토콜을 제안한다. 산업 및 의료 분야에서 강력한 공모 저항성과 기밀 보장 조건 하에, 훈련 시간을 HE의 2.5시간에서 4개 스레드로 6–35분으로 단축시킴으로써 성능 향상을 입증한다.

ABSTRACT

Deep learning (DL) approaches are achieving extraordinary results in a wide range of domains, but often require a massive collection of private data. Hence, methods for training neural networks on the joint data of different data owners, that keep each party's input confidential, are called for. We address a specific setting in federated learning, namely that of deep learning from horizontally distributed data with a limited number of parties, where their vulnerable intermediate results have to be processed in a privacy-preserving manner. This setting can be found in medical and healthcare as well as industrial applications. The predominant scheme for this is based on homomorphic encryption (HE), and it is widely considered to be without alternative. In contrast to this, we demonstrate that a carefully chosen, less complex and computationally less expensive secure sum protocol in conjunction with default secure channels exhibits superior properties in terms of both collusion-resistance and runtime. Finally, we discuss several open research questions in the context of collaborative DL, especially regarding privacy risks caused by joint intermediate results.

연구 동기 및 목표

• 의료 및 산업 B2B 응용 분야와 같이 소수의 상호 협력하지 않는 당사자들이 참여하는 환경에서 기밀 보존형 공동 딥러닝을 해결한다.
• 가로로 분할된 데이터를 가진 피어드 페더레이티드 러닝에서 히든 엔크립션(HE)의 높은 계산 비용과 제한된 확장성 문제를 해결한다.
• 딥러닝의 기울기 집계에 대해 HE의 실용적 대안으로서 안전한 합계 프로토콜의 보안성과 효율성을 평가한다.
• 훈련 반복 과정에서 중간 모델 파라미터를 반복적으로 공유함으로써 기밀 유출 위험이 있는지 조사한다.
• 두 명 이상의 당사자 간에 수직 또는 임의로 분할된 데이터에 대해 안전한 집계를 확장할 수 있는지 탐색한다.

제안 방법

• 개별 기여를 드러내지 않으면서 다수의 당사자 간에 기울기를 집계하기 위해 비밀 공유 기반의 안전한 합계 프로토콜을 사용한다.
• TLS와 같은 페어웨이즈 안전 채널을 사용하여 당사자 간 통신을 구축함으로써 신뢰할 수 있는 제3자에 의존하지 않는다.
• 중앙 기관이나 재암호화가 필요 없는 공모 저항성 프로토콜을 구현하며, 일부 HE 기반 기법과 달리 복잡한 키 관리가 필요하지 않다.
• 동일한 훈련 워크로드 조건에서 HE 기반 집계와 제안된 안전한 합계 프로토콜 간의 성능 및 보안성을 비교한다.
• 표준 딥 네트워크(DNN)와 확률적 기울기 하강법(SGD)을 사용하여 훈련을 수행하며, 매 집계 단계에서 안전한 합계 프로토콜을 적용한다.
• 3, 4, ..., 20명의 당사자 수(n ∈ {3,4,...,20})를 변화시켜 런타임과 통신 오버헤드를 측정하여 확장성과 효율성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 가로로 분할된 데이터에서 공동 딥러닝에 대해 안전한 합계 프로토콜이 히든 엔크립션(HE)보다 런타임과 계산 효율성 측면에서 뛰어난가?
• RQ2 제안된 안전한 합계 프로토콜은 HE 기반 기법에 비해 공모 공격에 얼마나 강력한가?
• RQ3 훈련 과정에서 중간 모델 파라미터를 반복적으로 공유함으로써 개인 데이터 입력을 복원할 위험이 있는가?
• RQ4 집계된 기울기에서 개인 데이터를 역공학적으로 복원하기 위해 필요한 비선형 연립방정식을 풀기는 계산적으로 불가능한가?
• RQ5 실제 공동 딥러닝 워크로드에 적용했을 때, 안전한 합계의 성능 및 보안 특성은 히든 엔크립션과 비교해 어떻게 되는가?

주요 결과

• 안전한 합계 프로토콜은 HE를 사용할 경우 20개 스레드로 2.5시간이 걸리던 훈련 시간을 4개 스레드로 6–35분으로 단축시켜 뚜렷한 성능 향상을 입증했다.
• 안전한 합계 프로토콜은 신뢰할 수 있는 제3자나 복잡한 키 관리 없이도 완전한 공모 저항성을 확보했으며, 이는 많은 HE 기반 접근 방식과는 다릅니다.
• 런타임은 지연에 매우 민감했지만, 중간 수준의 네트워크 지연(16ms RTT) 조건에서도 안전한 합계 프로토콜은 여전히 HE보다 훨씬 빠르게 유지되었다.
• 중간 기울기에서 개인 데이터를 복원하기 위해 필요한 연립방정식은 매우 비선형적이며, SciPy나 SageMath와 같은 표준 해법기구로는 해결이 불가능한 것으로 확인되었다.
• SGD가 초기 조건에 민감하고 역문제가 비선형적이므로, 실질적으로 중간 파라미터에서 입력을 정확히 복원하는 것은 불가능할 가능성이 높다.
• 이 연구는 특히 두 명 이상의 당사자 간에 수직 또는 임의로 분할된 데이터에 대해 종단 간 암호화 훈련을 지원하는 더 효율적인 HE 기법의 필요성을 규명했다.