[논문 리뷰] UnSplit: Data-Oblivious Model Inversion, Model Stealing, and Label Inference Attacks Against Split Learning

Ege Erdoğan, Alpteki̇n Küpçü외 1명|arXiv (Cornell University)|2021. 08. 20.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 9

한 줄 요약

이 논문은 분할 학습에 대응하는 데이터 무관 공격 기법인 UnSplit을 제안한다. 이 공격은 신뢰할 수 있는 그러나 호기심이 많은 서버가 클라이언트의 모델 아키텍처만으로도 클라이언트 입력을 복원하고, 동일한 기능을 갖춘 모델을 도용할 수 있음을 보여준다. 이러한 공격은 원시적인 분할 학습이 의미 있는 개인정보 보호 기능을 제공하지 못함을 입증하며, 서버가 최소한의 접근만으로도 높은 정밀도의 입력 복원과 완벽한 레이블 추론을 수행할 수 있음을 보여, 프로토콜의 보안 주장이 땅어지게 한다.

ABSTRACT

Training deep neural networks often forces users to work in a distributed or outsourced setting, accompanied with privacy concerns. Split learning aims to address this concern by distributing the model among a client and a server. The scheme supposedly provides privacy, since the server cannot see the clients' models and inputs. We show that this is not true via two novel attacks. (1) We show that an honest-but-curious split learning server, equipped only with the knowledge of the client neural network architecture, can recover the input samples and obtain a functionally similar model to the client model, without being detected. (2) We show that if the client keeps hidden only the output layer of the model to "protect" the private labels, the honest-but-curious server can infer the labels with perfect accuracy. We test our attacks using various benchmark datasets and against proposed privacy-enhancing extensions to split learning. Our results show that plaintext split learning can pose serious risks, ranging from data (input) privacy to intellectual property (model parameters), and provide no more than a false sense of security.

연구 동기 및 목표

• 분산 학습 중 클라이언트 데이터와 모델 가중치를 보호하기 위해 설계된 프로토콜인 분할 학습의 기본적인 개인정보 유출 취약점을 폭 드러내기 위해.
• 클라이언트의 모델 아키텍처 외에 클라이언트의 가중치나 데이터에 접근하지 못하는 서버가도 탐지되지 않게 모델 역행 및 모델 도용 공격을 수행할 수 있음을 입증하기 위해.
• 기존의 방어 기법들, 예를 들어 거리 상관관계(DCOR)가 이러한 새로운 공격에 얼마나 효과적인지 평가하기 위해.
• 클라이언트 측에서 출력 레이어를 로컬로 계산함으로써 레이블 보호를 시행하더라도, 여전히 레이블을 완벽한 정확도로 추론할 수 있음을 보여주기 위해.
• 분할 학습의 기본 설정 외에 더 강력한 암호 기반 보호 조치가 급박히 필요하다는 점을 부각하기 위해.

제안 방법

• 모델 역행 공격는 기울기 기반 최적화를 사용하여, 서버가 재구성한 특징 맵과 클라이언트의 압축된 데이터 간의 손실을 최소화함으로써 클라이언트 입력을 재구성한다. 이 과정에서 클라이언트의 모델 아키텍처 외에는 추가 정보가 필요하지 않다.
• 모델 도용 공격는 서버 측에서 클라이언트 모델의 동작을 모방하는 서rogate 모델을 훈련시키는 방식으로, 동일한 입력 재구성 과정을 사용한다. 이를 통해 기능적으로 동일한 모델 클론을 생성할 수 있다.
• 레이블 추론 공격는 최종 클라이언트 레이어가 로컬에서 계산된다는 사실을 악용한다. 분할 깊이가 1일 경우, 서버는 클라이언트의 출력 레이어 기울기를 이용해 레이블을 완벽한 정확도로 추론할 수 있다.
• 이 공격는 쿼리가 필요 없고, 데이터에 무관한 방법으로 구현된다. 즉, 클라이언트 데이터나 레이블에 직접 접근할 필요 없이, 아키텍처 정보와 클라이언트로부터 온 압축된 데이터만으로도 공격가능하다.
• 이 접근은 여러 데이터셋(MNIST, Fashion-MNIST)과 거리 상관관계(DCOR)와 같은 개인정보 보호 기법을 대상으로 평가되었으며, MSE와 시각적 정밀도를 평가 지표로 사용하였다.
• 공격 프레임워크는 수정 없이 다중 클라이언트 환경에 확장 가능하며, 동일한 위협 모델 하에서 효과성을 유지한다.

실험 결과

연구 질문

• RQ1 클라이언트의 모델 아키텍처 외에 다른 정보 없이도 서버가 분할 학습에서 클라이언트의 입력 데이터를 재구성할 수 있는가?
• RQ2 클라이언트의 가중치나 데이터에 접근하지 못하는 서버가 클라이언트 모델의 동작을 얼마나 잘 클론할 수 있는가?
• RQ3 클라이언트가 오직 최종 레이어만 로컬에서 계산할 경우, 서버는 클라이언트 입력의 레이블을 추론할 수 있는가?
• RQ4 거리 상관관계(DCOR)와 같은 기존 방어 기법들이 이러한 새로운 아키텍처 인식 공격에 얼마나 효과적인가?
• RQ5 분할 깊이를 늘리면 보안성이 향상되는가, 아니면 프로토콜 자체가 이러한 공격에 본질적으로 취약한가?

주요 결과

• 분할 학습 서버는 클라이언트의 모델 아키텍처와 압축된 데이터만으로도 클라이언트 입력을 높은 정밀도로 재구성할 수 있으며, 분할 깊이가 3일 경우 Fashion-MNIST에서 MSE 값이 최소 0.18까지 도달한다.
• 복원된 입력은 원본과 시각적으로 구별되지 않으며, 이는 프로토콜의 개인정보 보호 주장에도 불구하고 심각한 정보 泄露가 발생하고 있음을 시사한다.
• 서버는 원본 모델의 성능과 동일한 성능을 보이는 클라이언트 모델을 클론할 수 있으며, 동일한 위협 모델 하에서 효과적인 모델 도용을 수행함을 보여준다.
• 클라이언트가 오직 최종 레이어만 로컬에서 계산할 경우(분할 깊이 = 1), 서버는 레이블을 완벽한 정확도로 추론할 수 있어 레이블 기밀성은 무너진다.
• DCOR와 같은 방어 기법은 입력 재구성 품질을 낮추지만, 아키텍처 지식이 있는 공격자에게서는 모델 도용을 방지하거나 입력 복원을 크게 저지르지 못한다.
• 이러한 공격는 개인정보 보호 기법이 적용된 환경에서도 효과를 유지하며, 아키텍처 지식만으로도 강력하고 탐지되지 않는 공격가능성을 분할 학습에서 입증한다.