[논문 리뷰] SoK: Privacy-preserving Deep Learning with Homomorphic Encryption

Robert Podschwadt, Daniel Takabi외 1명|arXiv (Cornell University)|2021. 12. 23.

Cryptography and Data Security인용 수 6

한 줄 요약

이 논문은 동형 암호화(HE)를 사용한 프라이버시 보장 딥 러닝에 대한 체계적인 조사 결과를 제시하며, 아키텍처 수정, 활성화 함수 적응, 성능 트레이드오프를 분석한다. 계산 오버헤드와 노이즈 예산 제약 등의 주요 과제를 밝히고, HE 기반 딥 러닝 시스템 간 비교를 표준화하기 위한 평가 지침을 제안한다.

ABSTRACT

Outsourced computation for neural networks allows users access to state of the art models without needing to invest in specialized hardware and know-how. The problem is that the users lose control over potentially privacy sensitive data. With homomorphic encryption (HE) computation can be performed on encrypted data without revealing its content. In this systematization of knowledge, we take an in-depth look at approaches that combine neural networks with HE for privacy preservation. We categorize the changes to neural network models and architectures to make them computable over HE and how these changes impact performance. We find numerous challenges to HE based privacy-preserving deep learning such as computational overhead, usability, and limitations posed by the encryption schemes.

연구 동기 및 목표

• 딥 러닝 네트워크와 동형 암호화(HE)를 융합한 기존 접근법을 체계화하고 분석하기.
• 암호화된 데이터 위에서의 계산을 가능하게 하기 위해 신경망에 가해진 아키텍처 수정을 식별하고 분류하기.
• 특히 활성화 함수와 학습 파이프라인에 대한 HE 특화 적응이 성능에 미치는 영향 평가하기.
• 메모리, 정확도, 런타임 메트릭 기준으로 HE 기반 딥 러닝 시스템 간 비교를 위한 표준화된 평가 기준 설정하기.
• 계산 오버헤드, 노이즈 관리, 대규모 데이터셋에 대한 확장성 등 열린 연구 과제 강조하기.

제안 방법

• HE 기반 딥 러닝 논문 18편을 아키텍처, 활성화 함수, 학습 적응 기준으로 분류하기.
• PHE, SHE, FHE 등 HE 체계가 신경망 연산, 특히 곱셈 깊이와 노이즈 누적에 미치는 제약 분석하기.
• 다항식 근사, 룩업 테이블, 사후 교체와 같은 HE 호환 활성화 함수 검토하기.
• 암호문 패킹, 모델 프루닝, 활성화 함수 그룹화와 같은 기법을 통해 계산 비용 절감 기술 조사하기.
• 메모리 사용량, 암호화된 데이터에서의 모델 정확도, 런타임 효율성 등의 메트릭을 포함한 표준화된 평가 프레임워크 제안하기.
• GPU 및 FPGA를 활용한 하드웨어 가속 잠재력 평가를 통해 HE 성능 향상에 기여할 수 있는 시스템 최적화 가능성 분석하기.

실험 결과

연구 질문

• RQ1 딥 러닝 네트워크를 동형 암호화와 호환되게 하기 위해 필요한 주요 아키텍처 수정은 무엇인가?
• RQ2 다양한 활성화 함수 설계가 HE 기반 추론 및 학습에서 모델 정확도와 노이즈 예산에 미치는 영향은 어떠한가?
• RQ3 HE 기반 딥 러닝에서 주요 성능 저하 요인은 무엇이며, 시스템 수준 최적화로 어떻게 완화할 수 있는가?
• RQ4 기존 평가 관행이 HE 기반 딥 러닝 시스템 간 공정하고 재현 가능한 비교를 얼마나 잘 가능하게 하는가?
• RQ5 ImageNet과 같은 실세계 데이터셋에 대해 HE 기반 딥 러닝을 확장하는 데 있어 주요 과제는 무엇인가?

주요 결과

• 동형 암호화는 복호화 없이도 암호화된 데이터 위에서 계산을 가능하게 하여 프라이버시 보장 추론과 학습을 가능하게 하지만, 상당한 계산 오버헤드를 수반한다.
• 활성화 함수는 비선형성, 무한정성, 비단조화성 도함수로 인해 HE 체계에서 노이즈 예산을 급격히 고갈시키는 주요 병목 현상이다.
• 활성화 함수의 다항식 근사는 성능을 유지하면서도 HE 연산과 호환되는 실용적인 대안을 제공한다.
• 암호문 패킹을 통해 메모리 요구량을 한 단계 낮출 수 있어, CIFAR-10과 같은 대규모 추론이 가능해지고 ImageNet으로의 확장도 가능해진다.
• 모델 프루닝과 활성화 함수 그룹화 기법은 정확도 손실가 최소화하면서 최대 30%의 속도 향상을 이룰 수 있어, HE 환경에서의 최적화 잠재력이 높다고 보인다.
• 표준화된 평가 메트릭, 특히 메모리 사용량과 암호화된 데이터에서의 성능는 공정한 비교에 필수적이지만, 많은 기존 연구에서 이를 보고하지 못하고 있다.