[논문 리뷰] Private Machine Learning in TensorFlow using Secure Computation

Morten Dahl, Jason Mancuso외 6명|arXiv (Cornell University)|2018. 10. 18.

Cryptography and Data Security참고 문헌 4인용 수 49

한 줄 요약

본 논문은 tf-encrypted를 제시하는데, 이는 SPDZ 기반의 안전한 다자 계산(Secure Multi-Party Computation)을 TensorFlow에 통합한 오픈소스 프레임워크로, TensorFlow 그래프를 통한 프라이빗 ML을 가능하게 하며 MNIST에 대한 벤치마크를 제시한다.

ABSTRACT

We present a framework for experimenting with secure multi-party computation directly in TensorFlow. By doing so we benefit from several properties valuable to both researchers and practitioners, including tight integration with ordinary machine learning processes, existing optimizations for distributed computation in TensorFlow, high-level abstractions for expressing complex algorithms and protocols, and an expanded set of familiar tooling. We give an open source implementation of a state-of-the-art protocol and report on concrete benchmarks using typical models from private machine learning.

연구 동기 및 목표

• TensorFlow 내에서 프라이빗 머신 러닝를 위한 접근 가능한 플랫폼으로 tf-encrypted를 소개한다.
• TensorFlow 그래프와 안전 계산 프로토콜의 통합을 시연하여 프라이빗 추론 및 학습 워크플로를 가능하게 한다.
• 일반적인 작업에서 프라이빗 ML 모델의 성능과 정확도 간의 trade-off를 보여주는 벤치마크를 제공한다.

제안 방법

• TensorFlow에 SPDZ 스타일의 안전 다자 계산을 마스킹된 프라이빗 텐서로 내장한다.
• 부동 소수점 수를 고정 소수점 인코딩으로 사용하고 정밀도 제어를 위해 int64와 CRT 기반 int100 텐서를 지원한다.
• 마스킹과 특정 디바이스에 데이터를 고정하는 3-서버 프로토콜을 통해 안전한 곱셈 및 기타 연산을 구현한다.
• 네트워킹을 줄이고 성능을 개선하기 위해 TensorFlow의 분산 실행 및 그래프 최적화를 활용한다.

실험 결과

연구 질문

• RQ1 안전 계산 프로토콜을 TensorFlow에 효과적으로 통합하되 모델의 활용성이나 성능을 희생하지 않을 수 있는가?
• RQ2 TensorFlow 기반 프레임워크에서 표준 ML 모델의 프라이빗 추론을 실행할 때 성능과 정확도 간의 trade-off는 무엇인가?
• RQ3 정밀도 선택(int64 대 int100)이 프라이빗 ML 작업의 정확도와 런타임에 어떤 영향을 미치는가?
• RQ4 일반 플랫폼이 프라이빗 ML을 위한 다양한 안전 계산 최적화 및 프로토콜의 실험을 용이하게 할 수 있는가?

주요 결과

네트워크	런타임 평균	런타임 편차	정확도 (int64)	정확도 (int100)	KL 발산 (int64)	KL 발산 (int100)
A	14ms	138ms	97.35%	97.18%	0.0065	0.0064
B	126ms	189ms	99.26%	99.00%	0.2086	0.0311
C	124ms	211ms	99.44%	99.41%	0.2311	0.1045

• tf-encrypted는 모델과 입력이 서로 다른 당사자에 유지된 상태에서 TensorFlow의 프라이빗 추론을 가능하게 한다.
• 텐서 연산에 맞게 수정된 SPDZ 기반 프로토콜과 세-서버 구성은 MNIST 규모 네트워크에 실용적으로 사용 가능한 측정 가능한 런타임을 달성한다.
• int64와 int100 고정소수 표현은 유사한 정확도를 보이며, int100은 추가 런타임 비용으로 더 높은 정밀도를 제공한다.
• 다양한 아키텍처의 네트워크는 배치 크기에 대해 서브선형 스케일링을 보여주며 대기 시간과 처리량 간의 trade-off를 강조한다.
• 평문 TensorFlow와 비교할 때 프라이빗 추론은 런타임 오버헤드를 수반하지만 비슷한 정확도와 허용 가능한 KL 발산을 유지한다.
• 이 프레임워크는 디버깅 및 프로파일링을 위한 TensorBoard를 포함한 표준 TensorFlow 도구와 프라이빗 ML을 결합하는 가능성을 보여준다.