[논문 리뷰] Helen: Maliciously Secure Coopetitive Learning for Linear Models

Wenting Zheng, Raluca Ada Popa외 2명|arXiv (Cornell University)|2019. 07. 16.

Privacy-Preserving Technologies in Data참고 문헌 68인용 수 12

한 줄 요약

Helen은 악성 공격자에 대비한 강력한 보안을 제공하는 협력적·경쟁적 학습을 위한 시스템으로, 원시 데이터를 공유하지 않고도 여러 당사자가 선형 모델(예: 리지 회귀 및 LASSO)을 공동으로 훈련할 수 있도록 한다. ADMM와 최적화된 암호 기법을 조합함으로써 Helen은 기존의 최첨단 MPC 프레임워크를 사용한 기준 대비 훈련 속도를 최대 10만 배 빠르게 하여, 4개의 당사자와 10만 개의 샘플을 가진 데이터셋의 훈련 시간을 수개월에서 3시간 이내로 단축시킨다.

ABSTRACT

Many organizations wish to collaboratively train machine learning models on their combined datasets for a common benefit (e.g., better medical research, or fraud detection). However, they often cannot share their plaintext datasets due to privacy concerns and/or business competition. In this paper, we design and build Helen, a system that allows multiple parties to train a linear model without revealing their data, a setting we call coopetitive learning. Compared to prior secure training systems, Helen protects against a much stronger adversary who is malicious and can compromise m-1 out of m parties. Our evaluation shows that Helen can achieve up to five orders of magnitude of performance improvement when compared to training using an existing state-of-the-art secure multi-party computation framework.

연구 동기 및 목표

• 원시 데이터를 공유할 수 없는 기밀성과 경쟁에 민감한 조직 간의 공동 기계 학습 도전 과제를 해결하기 위해.
• 최대 m−1명의 당사자가 손상될 수 있는 악성 공격자에 대비한 강력한 보안 보장을 제공하는 시스템을 설계하기 위해.
• 모든 당사자가 최종 모델에서 이익을 얻는 협력적 경쟁 환경에서 정규화된 선형 모델의 실용적인 성능을 달성하기 위해.
• 일반적인 MPC 프레임워크의 비효율성을 극복하기 위해 암호 계산을 데이터 크기와 독립적으로 최적화하여 확장성 확보하기 위해.

제안 방법

• Helen은 교차 최적화 방법(ADMM)을 사용하여 훈련 과정과 샘플 기반 암호 연산을 분리함으로써 효율적인 보안 계산을 가능하게 한다.
• 비용이 많이 드는 암호 연산이 훈련 샘플 수에 의존하지 않고 모델 파라미터와 특성에만 의존하도록 최적화 과정을 재구성한다.
• 선형 모델 훈련에 특화된 고유한 효율적인 MPC 프로토콜을 적용하여 통신 및 계산 오버헤드를 최소화한다.
• Helen은 보안 다자 계산 primitive를 통합하여 최대 m−1명의 당사자가 악성 행동을 해도 정확성과 기밀성이 유지됨을 보장한다.
• 일반적으로 과학적 및 금융 응용 분야에서 널리 사용되는 일반 최소 제곱법, 리지 회귀, LASSO와 같은 일반 선형 모델을 지원한다.
• 암호화 라운드 수와 데이터 전송 횟수를 줄이는 성능 최적화를 구현하여 종단 간 훈련 속도를 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 강력한 악성 공격자 위협 모델 하에서 보안 훈련 시스템이 선형 모델에 대해 실용적인 성능을 달성할 수 있는가?
• RQ2 암호 계산을 데이터 크기에서 분리하여 보안 기계 학습의 효율성을 향상시키는 방법은 무엇인가?
• RQ3 어떤 아키텍처적 및 알고리즘적 최적화가 일반 MPC 기반 훈련 대비 10만 배의 성능 향상을 가능하게 하는가?
• RQ4 ADMM는 강력한 기밀성 및 정확성 보장을 갖춘 보안적 협력적 훈련에 효과적으로 적용될 수 있는가?

주요 결과

• Helen은 4개의 당사자, 10만 개의 샘플, 90개의 특성을 가진 선형 회귀 모델의 훈련 시간을 일반 MPC 기반 기준에서 추정된 약 3개월에서 3시간 이내로 단축시켰다.
• Helen은 최첨단 악성 MPC 프레임워크(SPDZ) 대비 최대 5개의 지수 차수(10만 배)의 성능 향상을 달성했다.
• ADMM를 사용한 훈련 재구성으로 인해, 비용이 많이 드는 암호 연산이 샘플 기반 반복에서 파라미터 기반 계산으로 이동하여 데이터 크기에 대해 선형 확장성이 보장된다.
• Helen은 리지 회귀 및 LASSO와 같이 널리 사용되는 정규화된 선형 모델을 지원하여 헬스케어 및 금융 분야의 실제 응용에 적용 가능하다.
• Helen은 강력한 보안 보장을 제공한다: 최대 m−1명의 당사자가 악성일지라도, 정상적인 당사자의 데이터는 기밀 유지되고 계산은 정확하다.