[논문 리뷰] Industrial Scale Privacy Preserving Deep Neural Network

Longfei Zheng, Chaochao Chen외 7명|arXiv (Cornell University)|2020. 03. 11.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 19

한 줄 요약

이 논문은 산업 응용을 위한 확장 가능한 프라이버시 보장 딥 뉴럴 네트워크 프레임워크인 P²N²을 제안한다. 여기서 데이터 소유자는 암호화 기법을 사용해 자신의 데이터에서 사생활 보장을 위한 계산을 수행하고, 중립적인 서버는 민감도가 낮은 레이어를 처리한다. 이 방법은 실제 사기 탐지 및 재정적 위기 예측 데이터셋에서 기준 모델 정확도에 근접한 성능을 달성하며, 모델 역공학 공격에 대비한 새로운 방어자 메커니즘이 프라이버시를 강화한다.

ABSTRACT

Deep Neural Network (DNN) has been showing great potential in kinds of real-world applications such as fraud detection and distress prediction. Meanwhile, data isolation has become a serious problem currently, i.e., different parties cannot share data with each other. To solve this issue, most research leverages cryptographic techniques to train secure DNN models for multi-parties without compromising their private data. Although such methods have strong security guarantee, they are difficult to scale to deep networks and large datasets due to its high communication and computation complexities. To solve the scalability of the existing secure Deep Neural Network (DNN) in data isolation scenarios, in this paper, we propose an industrial scale privacy preserving neural network learning paradigm, which is secure against semi-honest adversaries. Our main idea is to split the computation graph of DNN into two parts, i.e., the computations related to private data are performed by each party using cryptographic techniques, and the rest computations are done by a neutral server with high computation ability. We also present a defender mechanism for further privacy protection. We conduct experiments on real-world fraud detection dataset and financial distress prediction dataset, the encouraging results demonstrate the practicalness of our proposal.

연구 동기 및 목표

• 대규모 데이터셋과 깊은 아키텍처를 가진 실생활 산업 환경에서 암호화 기반 DNN의 확장성 한계를 해결하기 위해.
• 데이터 공유 없이도 프라이버시를 유지하는 다자간 학습을 가능하게 하여, 반신뢰성 대상자 모델 하에서 보안을 확보하기 위해.
• 민감한 데이터와 데이터 처리 작업을 데이터 소유자 측에 유지하면서 비민감한 계산을 신뢰할 수 있는 서버에 위탁하여 프라이버시와 효율성의 균형을 이루기 위해.
• 숨겨진 레이어 표현에 대한 모델 역공학 공격을 방지하기 위해 방어자 메커니즘을 도입하여 프라이버시 보호를 강화하기 위해.
• 실제 금융 데이터셋에서 프레임워크를 검증하여 비프라이빗 모델과의 성능 유사성과 실용성을 입증하기 위해.

제안 방법

• DNN 계산 그래프를 두 부분으로 분할: 데이터 소유자가 암호화 기법을 사용해 실행하는 민감한 데이터 관련 레이어와 중립 서버가 처리하는 비민감 레이어.
• 비밀 공유와 히든 엔크립션 기반 원리(primitives)를 사용해 데이터 소유자 측에서 숨겨진 표현을 안전하게 계산하기 위해.
• 남은 순방향 및 역방향 전파를 고성능 중립 서버에 위탁하여 각 당사자의 계산 부담을 줄이기 위해.
• 방어자 네트워크를 손실 함수 내 정규화 성분으로 도입하여, 숨겨진 활성화에서 비밀 입력 복원 위험을 최소화하기 위해.
• 교차 엔트로피 손실과 방어자 손실을 조합한 통합 손실 함수를 사용해 전체 모델을 종합 최적화하며, 하이퍼파라미터 λ를 통해 균형을 조절하기 위해.
• 각 노드가 개인 데이터를 보유하고 데이터 교환 없이 공동으로 공유 모델을 훈련하는 분산 환경에서 프레임워크를 구현하기 위해.

실험 결과

연구 질문

• RQ1 암호화 기반 DNN 프레임워크가 대규모 산업용 데이터셋과 깊은 아키텍처에서도 강력한 보안 보장을 유지하면서 확장 가능한가?
• RQ2 다자간 DNN 훈련에서 암호화 기법의 계산 및 통신 오버헤드를 어떻게 줄일 수 있는가?
• RQ3 방어자 메커니즘이 숨겨진 레이어 표현에 대한 모델 역공학 공격을 어느 정도 방지하는가?
• RQ4 하이퍼파라미터 λ를 통해 방어자의 영향력을 조정할 때, 모델 정확도와 프라이버시 보호 사이의 상호 교환 관계는 어떠한가?
• RQ5 제안된 프레임워크가 실제 금융 데이터셋에서 비프라이빗 DNN와 유사한 성능을 달성할 수 있는가?

주요 결과

• P²N²는 실제 사기 탐지 및 재정적 위기 예측 데이터셋에서 비프라이빗 기준 모델 정확도의 1% 이내로 높은 성능을 달성한다.
• 방어자 메커니즘이 비밀 입력 복원 공격의 성공률을 크게 감소시킴을 입증하였으며, MNIST에서의 시각적 비교 결과 방어자 기능이 활성화된 경우 복원된 숫자가 더 명확하지 않음을 확인하였다.
• 모델 정확도는 중간 정도의 방어자 가중치 λ에서 최고로 올라가며, λ가 너무 클 경우 성능이 저하됨을 통해 프라이버시와 성능 사이의 명확한 트레이드오프 관계가 있음을 시사한다.
• 실행 시간이 데이터셋 크기에 대해 부분선형적으로 증가함을 통해 대규모 산업용 데이터셋에서도 실용적인 확장성을 입증하였다.
• 서버가 비밀 입력과 숨겨진 레이어에 부분적으로 접근할 수 있는 강력한 공격 모델 하에서도 프레임워크가 강건함을 입증하였으며, 이는 방어자 메커니즘이 효과적임을 확인한다.
• 이 방법은 데이터 공유 없이도 서버에 대한 신뢰가 필요 없고, 분산 환경에서 프라이버시 보장 훈련을 가능하게 한다.