[논문 리뷰] Feature Reconstruction Attacks and Countermeasures of DNN training in Vertical Federated Learning

Peng Ye, Zhifeng Jiang외 3명|arXiv (Cornell University)|2022. 10. 13.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN)를 사용한 수직联邦학습(VFL)에서 특성 복원 공격에 대한 첫 번째 체계적 연구를 제시하며, 수동 파티에서의 이진 특성을 정직하지만 호기심 많은 수동 파티가 검색 기반 알고리즘을 통해 효율적으로 복원할 수 있음을 입증한다. 저자들은 공격자가 위조된 특성을 복원하도록 속이는 새로운 방식의 방어 기법을 제안하여 모델 정확도를 유지하면서도 복원 공격를 효과적으로 방지하며 최소한의 오버헤드를 유발한다.

ABSTRACT

Federated learning (FL) has increasingly been deployed, in its vertical form, among organizations to facilitate secure collaborative training over siloed data. In vertical FL (VFL), participants hold disjoint features of the same set of sample instances. Among them, only one has labels. This participant, known as the active party, initiates the training and interacts with the other participants, known as the passive parties. Despite the increasing adoption of VFL, it remains largely unknown if and how the active party can extract feature data from the passive party, especially when training deep neural network (DNN) models. This paper makes the first attempt to study the feature security problem of DNN training in VFL. We consider a DNN model partitioned between active and passive parties, where the latter only holds a subset of the input layer and exhibits some categorical features of binary values. Using a reduction from the Exact Cover problem, we prove that reconstructing those binary features is NP-hard. Through analysis, we demonstrate that, unless the feature dimension is exceedingly large, it remains feasible, both theoretically and practically, to launch a reconstruction attack with an efficient search-based algorithm that prevails over current feature protection techniques. To address this problem, we develop a novel feature protection scheme against the reconstruction attack that effectively misleads the search to some pre-specified random values. With an extensive set of experiments, we show that our protection scheme sustains the feature reconstruction attack in various VFL applications at no expense of accuracy loss.

연구 동기 및 목표

• 수직联邦학습(VFL)에서 수동 파티의 기밀 이진 특성을 수동 파티의 로컬 데이터와 교환된 중간 결과만을 사용하여 활성 파티가 복원할 수 있는지 여부와 방법을 조사한다.
• 특히 공격자가 보조 데이터나 전체 모델 가중치를 확보하지 못한 상황에서 특성 복원 공격의 이론적 타당성과 실용적 효율성을 분석한다.
• 모델 정확도를 저하시키지 않으면서도 이진 특성을 복원 공격으로부터 보호할 수 있는 강력한 방어 메커니즘을 설계한다.
• 제안된 공격 및 방어 기법의 효과성을 다양한 DNN 아키텍처와 실제 VFL 응용 사례에 걸쳐 평가한다.

제안 방법

• 정확 커버 문제에서의 감소를 통해 특성 복원 문제를 NP-난이도 문제로 공식화하여 이론적 한계를 확립한다.
• 입력 레이어의 선형성과 DNN 학습 중 중간 기울기의 구조를 활용하여 이진 특성을 효율적으로 복원하는 검색 기반 공격 알고리즘을 제안한다.
• 사전 지정된 랜덤 값을 모델의 입력 레이어에 삽입하여 공격자가 실제 특성이 아닌 위조된 특성을 대상으로 삼도록 속이는 마스카레이드 방어 기법을 설계한다.
• 다중 파티 환경에서의 안전한 집계를 위해 공격 알고리즘을 중간 결과의 합에 대해 적용함으로써, 수동 파티가 집계를 사용하는 경우에도 효과성을 유지한다.
• 원-핫 인코딩된 범주형 특성에 대해 공격를 적용하여 기본 이진 벡터를 복원함으로써 원래의 범주형 값 복원을 가능하게 한다.
• 실제 데이터셋(예: adult, covertype, credit)을 대상으로 광범위한 실험을 통해 방어 기법의 유효성을 검증하였으며, 공격 상황에서도 정확도에 측정 가능한 손실이 없음을 확인하였다.

실험 결과

연구 질문

• RQ1 활성 파티가 수동 파티의 이진 특성을 복원할 수 있는지 여부와 방법은 이론적으로나 실용적으로 타당한가? 이는 수동 파티의 로컬 데이터와 교환된 중간 결과만을 사용할 때 가능한가?
• RQ2 특성 공간의 차원 수가 특성 복원 공격의 성공률과 계산 비용에 어떤 영향을 미치는가?
• RQ3 실제 성능 저하 없이 공격자를 위조된 특성으로 유도하는 방어 메커니즘이 설계될 수 있는가?
• RQ4 안전한 집계와 다중 파티 VFL 환경(여러 수동 파티가 모델에 기여하는 경우)에서 공격 성능는 어떻게 되는가?
• RQ5 원-핫 인코딩 또는 다중 값 표현을 통해 공격를 범주형 특성으로 확장할 수 있는 정도는 어느 정도인가?

주요 결과

• 정확 커버 문제에서의 감소를 통해 이론적으로 특성 복원 공격는 NP-난이도 문제이지만, 특성 차원이 너무 크지 않은 경우 실용적으로 가능함을 입증하였다.
• 제안된 검색 기반 공격는 다양한 DNN 아키텍처(예: MLP, ResNet)와 실제 데이터셋(예: adult, covertype)에서 높은 정확도로 이진 특성을 성공적으로 복원하였다.
• 마스카레이드 방어 기법은 적응형 공격 상황에서도 공격자가 실제 특성을 복원하는 것을 효과적으로 방지하며, 사전 지정된 랜덤 값으로 검색을 유도함으로써 기능한다.
• 모든 평가된 작업에서 방어 기법은 기준 모델 정확도와 0.1% 이내로 유지되었으며, 성능 오버헤드가 거의 없음을 보여주었다.
• 수동 파티가 안전한 집계를 사용하는 경우에도 공격는 여전히 효과적이며, 중간 결과의 합이 노출되어 있고 복원에 사용 가능하기 때문이다.
• 모델 컷이 비선형 활성화 함수 이후(예: 입력 레이어 이후)에 위치할 경우 공격는 실패한다. 이는 공격에 필수적인 선형성이 상실되기 때문이다.