[논문 리뷰] FALCON: Honest-Majority Maliciously Secure Framework for Private Deep Learning

Sameer Wagh, Shruti Tople외 4명|arXiv (Cornell University)|2020. 04. 05.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

Falcon는 모듈러 산술을 사용하여 비선형 연산(예: ReLU 및 배치 정규화)을 위한 새로운 프로토콜을 활용함으로써, 3자, 정당 다수, 악성 공격자에 대해 안전한 프라이빗 딥 뉴럴 네트워크 훈련 및 추론 프레임워크를 제안한다. 이는 기존의 SecureNN 및 ABY3와 비교해 추론 속도가 최대 8배 빠르고, 통신 효율성이 16–200배 향상되었으며, VGG16 및 AlexNet과 같은 대규모 모델을 지원한다.

ABSTRACT

We propose Falcon, an end-to-end 3-party protocol for efficient private training and inference of large machine learning models. Falcon presents four main advantages - (i) It is highly expressive with support for high capacity networks such as VGG16 (ii) it supports batch normalization which is important for training complex networks such as AlexNet (iii) Falcon guarantees security with abort against malicious adversaries, assuming an honest majority (iv) Lastly, Falcon presents new theoretical insights for protocol design that make it highly efficient and allow it to outperform existing secure deep learning solutions. Compared to prior art for private inference, we are about 8x faster than SecureNN (PETS'19) on average and comparable to ABY3 (CCS'18). We are about 16-200x more communication efficient than either of these. For private training, we are about 6x faster than SecureNN, 4.4x faster than ABY3 and about 2-60x more communication efficient. Our experiments in the WAN setting show that over large networks and datasets, compute operations dominate the overall latency of MPC, as opposed to the communication.

연구 동기 및 목표

• 악성 대상자에 대해 정당 다수 조건 하에, 안전하고 효율적이며 표현력 있는 프라이빗 딥 러닝 모델 훈련 및 추론 프레임워크를 설계한다.
• 실제 응용 분야에서 핵심적인 역할을 하는 대규모 고용량 신경망, 예를 들어 AlexNet 및 VGG16과 같은 모델을 지원한다.
• 현대 딥 러닝에서 핵심 요소인 배치 정규화를 보안 다자 계산(MPC) 환경 내에서 네이티브로 지원한다.
• 특히 광역망(WAN) 환경에서 기존의 보안 딥 러닝 프레임워크에 비해 통신 및 계산 오버헤드를 줄인다.
• 비선형 함수를 위한 MPC 프로토콜 설계에 이론적이고 실용적인 통찰을 제공함으로써, 효율적이고 안전한 계산을 가능하게 한다.

제안 방법

• 정당 다수 조건 하에서 악성 공격자에 대해 안전성을 확보하기 위해 3자 기반 비밀 공유 기반 MPC 프레임워크를 사용한다.
• 비선형 연산—특히 ReLU 및 배치 정규화—에 대한 새로운 프로토콜을 제안하며, 고비용의 가려진 회로 또는 히든 암호화에 의존하지 않고 오직 모듈러 산술만을 사용한다.
• 선형 연산에 대한 산술 비밀 공유와 비선형 레이어를 위한 최적화된 회로 컴파일을 결합한 새로운 보안 계산 프레임워크를 설계한다.
• 상호작용을 최소화하고 효율적인 모듈러 산술 연산을 활용하여 라운드 복잡도와 통신을 최적화한다.
• 선형 연산에는 비밀 공유를, 비선형 연산에는 맞춤형 프로토콜을 조합한 하이브리드 접근 방식을 사용하여, 훈련 및 추론 모두에서 높은 성능을 달성한다.
• 딥 러닝 모델(예: VGG16, AlexNet)을 최소한의 성능 손실로 보안 MPC 회로로 매핑하기 위해 맞춤형 컴파일러와 플래너를 활용한다.

실험 결과

연구 질문

• RQ1 악성 보안과 정당 다수 조건 하에서, VGG16 및 AlexNet과 같은 대규모 모델을 효율적으로 지원할 수 있는 보안 딥 러닝 프레임워크는 가능한가?
• RQ2 광역망 환경에서 성능을 희생시키지 않고 다자 계산 환경에서 배치 정규화를 안전하고 효율적으로 계산할 수 있는가?
• RQ3 WAN 환경에서 MPC 기반 프라이빗 딥 러닝의 성능 저하 요인은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 기존의 가려진 회로나 히든 암호화를 사용하는 방법에 비해, 모듈러 산술 기반의 새로운 프로토콜이 ReLU 및 배치 정규화에 대해 더 나은 성능을 낼 수 있는가?
• RQ5 프라이빗 딥 러닝에서 강력한 보안성과 높은 효율성을 동시에 달성하는 데 핵심이 되는 프로토콜 설계 원칙은 무엇인가?

주요 결과

• Falcon는 SecureNN(PETS'19)에 비해 추론 속도가 최대 8배 빠르며, ABY3(CCS'18)와 유사한 속도를 기록하지만, 통신 효율성은 16–200배 향상되었다.
• 프라이빗 훈련에서는 Falcon이 SecureNN보다 6배 빠르고, ABY3보다 4.4배 더 빠르며, 통신 효율성은 2–60배 향상되었다.
• WAN 환경에서는 계산이 지연 시간을 지배하므로, 비선형 연산과 같은 계산 집약적인 연산을 최적화하는 것이 성능 향상에 매우 중요하다.
• Falcon는 정당 다수 조건 하에 악성 공격자에 대해 완전한 보안을 확보하면서도, VGG16 및 AlexNet의 프라이빗 훈련과 추론을 지원하는 최초의 프레임워크이다.
• Falcon는 MPC 환경에서 ReLU 및 배치 정규화를 위한 첫 번째 효율적인 모듈러 산술 기반 프로토콜을 제공하며, 고비용의 가려진 회로에 대한 의존도를 크게 감소시켰다.
• Falcon는 라운드 및 통신 복잡도의 이론적 개선이 실세계 데이터셋(Tiny ImageNet)에서 실질적인 성능 향상으로 이어진다는 것을 입증했다.