[논문 리뷰] Privacy-Preserving Distributed Learning with Secret Gradient Descent.

Valentin Hartmann, Robert West|arXiv (Cornell University)|2019. 06. 27.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 6

한 줄 요약

이 논문은 기밀성 보장 분산 학습 방법인 Secret Gradient Descent(SecGD)을 제안한다. 이 방법을 통해 클라이언트들은 원시 데이터를 폭 lộ하지 않고도 공동으로 기계 학습 모델을 훈련시킬 수 있다. 보안 메시지 공유 및 Tor와 같은 익명화 네트워크를 통한 라우팅을 통해 일시적인 노이즈를 추가하고 이후 제거함으로써, 악성 서버가 기울기와 개인 클라이언트를 연결할 수 없도록 보장하며, 부분 합 문제의 난이도에 기반하여 단 두 명의 정직한 클라이언트만으로도 계산적 기밀성을 달성한다.

ABSTRACT

In many important application domains of machine learning, data is a privacy-sensitive resource. In addition, due to the growing complexity of the models, single actors typically do not have sufficient data to train a model on their own. Motivated by these challenges, we propose Secret Gradient Descent (SecGD), a method for training machine learning models on data that is spread over different clients while preserving the privacy of the training data. We achieve this by letting each client add temporary noise to the information they send to the server during the training process. They also share this noise in separate messages with the server, which can then subtract it from the previously received values. By routing all data through an anonymization network such as Tor, we prevent the server from knowing which messages originate from the same client, which in turn allows us to show that breaking a client's privacy is computationally intractable as it would require solving a hard instance of the subset sum problem. This setup allows SecGD to work in the presence of only two honest clients and a malicious server, and without the need for peer-to-peer connections.

연구 동기 및 목표

• 중앙 집중식 데이터 수집 없이 분산된 기밀성 감수 데이터에서 기계 학습 모델을 훈련시키는 도전 과제를 해결하기 위해.
• 오직 두 명의 클라이언트만 정직하고 서버가 악성일 수 있는 환경에서 안전한 모델 훈련을 가능하게 하기 위해.
• 암호화된 노이즈와 익명화된 통신을 통해 서버가 기울기를 특정 클라이언트에 연결하는 것을 방지하기 위해.
• 피어 투 피어 연결이 필요 없이도 강력한 기밀성 보장을 유지하기 위해.

제안 방법

• 각 클라이언트는 서버에 기울기를 전송하기 전에 일시적인 노이즈를 추가한다.
• 클라이언트들은 별도로 노이즈 값을 서버에 전송하여 서버가 수신한 기울기에서 노이즈를 복원하고 제거할 수 있도록 한다.
• 모든 통신은 Tor와 같은 익명화 네트워크를 통해 라우팅되어 메시지의 출처를 은폐한다.
• 시스템은 부분 합 문제의 계산적 비가역성을 기반으로 기밀성 유출을 방지한다.
• 서버는 청소된 기울기를 사용하여 표준 기울기 하강법을 수행하지만, 클라이언트는 원시 데이터를 폭 lộ하지 않는다.
• 악성 서버가 존재하더라도 클라이언트 데이터를 재식별할 확률은 계산적으로 무시할 만큼 낮다.

실험 결과

연구 질문

• RQ1 개인 학습 데이터의 기밀성을 유지하면서 분산 클라이언트 간에 공동으로 기계 학습 모델을 훈련시킬 수 있는가?
• RQ2 오직 두 명의 정직한 클라이언트와 악성 서버가 존재하는 조건에서 강력한 기밀성 보장을 달성할 수 있는가?
• RQ3 피어 투 피어 통신 없이도 서버가 기울기를 특정 클라이언트에 연결하는 것을 방지할 수 있는가?
• RQ4 노이즈 가림과 익명화된 라우팅을 사용하면 계산적으로 안전한 시스템을 달성할 수 있는가?
• RQ5 이 프로토콜의 보안성을 부분 합 문제와 같이 잘 알려진 난이도 높은 문제로 환원할 수 있는가?

주요 결과

• 부분 합 문제가 계산적으로 어렵다는 가정 하에 프로토콜은 클라이언트 데이터에 대해 정보 이론적 기밀성을 달성한다.
• 악성 서버가 존재하더라도 기반 문제의 암호학적 난이도 덕분에 클라이언트 데이터를 재식별할 확률은 무시할 만큼 낮다.
• 오직 두 명의 정직한 클라이언트만으로도 안전하게 작동하여 실세계 적용에 실용적이다.
• Tor를 통한 익명화로 서버가 메시지를 동일한 클라이언트에 연결하는 것을 방지하여 추론 공격에 대한 저항력을 높인다.
• 피어 투 피어 연결이 필요 없어 제약 조건이 있는 환경에서도 구현이 간편하다.
• 노이즈가 기울기 업데이트 이전에 제거되므로 표준 분산 훈련과 비교해 모델 정확도를 유지한다.