[논문 리뷰] Minimax Filter: Learning to Preserve Privacy from Inference Attacks

Jihun Hamm|arXiv (Cornell University)|2016. 10. 12.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 26

한 줄 요약

이 논문은 연속적이고 고차원적인 데이터에서 유티리티와 프라이버시 간의 트레이드오프를 최적화하기 위해 학습 기반 메커니즘인 minimax 필터를 제안한다. 프라이버시 보존을 최소-최대 최적화 문제로 공식화함으로써, 유의미하게 낮은 추론 공격 정확도(종종 우연 수준에 가까움)를 달성하면서도 높은 목표 작업 성능을 유지하며, 전통적인 차별적 프라이버시와 문법적 익명화 방법을 모두 능가한다.

ABSTRACT

Preserving privacy of continuous and/or high-dimensional data such as images, videos and audios, can be challenging with syntactic anonymization methods which are designed for discrete attributes. Differential privacy, which provides a more formal definition of privacy, has shown more success in sanitizing continuous data. However, both syntactic and differential privacy are susceptible to inference attacks, i.e., an adversary can accurately infer sensitive attributes from sanitized data. The paper proposes a novel filter-based mechanism which preserves privacy of continuous and high-dimensional attributes against inference attacks. Finding the optimal utility-privacy tradeoff is formulated as a min-diff-max optimization problem. The paper provides an ERM-like analysis of the generalization error and also a practical algorithm to perform the optimization. In addition, the paper proposes an extension that combines minimax filter and differentially-private noisy mechanism. Advantages of the method over purely noisy mechanisms is explained and demonstrated with examples. Experiments with several real-world tasks including facial expression classification, speech emotion classification, and activity classification from motion, show that the minimax filter can simultaneously achieve similar or better target task accuracy and lower inference accuracy, often significantly lower than previous methods.

연구 동기 및 목표

• 이미지, 영상, 음성과 같은 연속적이고 고차원적 데이터에 대해 문법적 익명화와 차별적 프라이버시의 추론 공격에 대한 취약성을 해결하기 위해.
• 목표 작업의 유티리티와 추론 공격에 대한 프라이버시 보호 간의 트레이드오프를 최적화하는 학습 기반 필터링 메커니즘을 개발하기 위해.
• 프라이버시-유티리티 트레이드오프를 min-diff-max 최적화 문제로 공식화하여 악성 추론에 대한 강건성을 확보하기 위해.
• minimax 필터링이 소음에 크게 의존하지 않으면서도 추론 정확도를 거의 우연 수준으로 낮출 수 있음을 보여주기 위해.
• preprocessing 및 postprocessing을 통해 minimax 필터링을 차별적 프라이버시와 결합하여 종합적인 프라이버시 보장을 향상시키기 위해.

제안 방법

• 적대자 추론 모델의 기대 위험과 목표 작업 모델의 기대 위험 간의 차이를 최소화함으로써 프라이버시-유티리티 트레이드오프를 최소-최대 최적화 문제로 공식화한다.
• 역행 불가능한 학습된 변환을 적용하는 필터 기반 변환을 사용하여 원시 특징을 변형함으로써 차원을 감소시키고 민감 정보를 제거한다.
• Danskin의 정리를 적용하여 경험적 위험 최소화(ERM)를 사용하여 최소-최대 문제를 해결하는 실용적인 최적화 알고리즘을 유도한다.
• 소음이 첨가된 minimax 필터를 제안하여 minimax 필터와 차별적 프라이버시를 결합함으로써 공식적인 프라이버시 보장을 확보하고 추론 공격에 대한 저항력을 강화한다.
• 두 단계 접근 방식을 사용한다: 전처리(소음 주입 이전 필터링) 및 후처리(소음 주입 이후 필터링), 양측 모두 실증적으로 평가된다.
• 실생활 데이터셋(GENKI, ENTERFACE, HAR)을 사용하여 얼굴 표정, 음성 정서, 활동 분류 작업에 대해 필터를 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 민감한 속성에 대한 적대자의 최대 추론 정확도를 최소화하면서도 정상 작업의 유티리티를 유지할 수 있는 필터를 학습할 수 있는가?
• RQ2 전통적인 차별적 프라이버시와 문법적 익명화 방법에 비해 minimax 필터는 고차원 데이터에서 추론 공격에 대해 얼마나 잘 저항하는가?
• RQ3 minimax 필터는 목표 기계 학습 작업의 성능을 떨어뜨리지 않고 추론 공격 정확도를 어느 정도까지 낮출 수 있는가?
• RQ4 minimax 필터링을 차별적 프라이버시와 결합하면 단독으로 사용할 경우보다 더 나은 프라이버시-유티리티 트레이드오프를 달성할 수 있는가?
• RQ5 소음이 첨가된 minimax 필터의 전처리 및 후처리 변형은 프라이버시와 유티리티의 균형에 어떻게 영향을 미치는가?

주요 결과

• minimax 필터는 소음 수준에 관계없이 모든 데이터셋에서 민감한 작업 추론 정확도를 거의 우연 수준(0.5, 0.03, 0.07)으로 낮춘다. 이는 강력한 추론 공격에 대한 저항력을 보여준다.
• 반면, PCA 기반 필터(non-minimax)는 소음이 없을 경우 추론 공격 정확도가 각각 0.8, 0.5, 0.3까지 올라가며, 공격 성공률를 낮추기 위해 높은 소음 수준(ε⁻¹ ≥ 0.1)이 필요하여 유티리티에 악영향을 미친다.
• minimax-pre/post 필터는 고성능의 목표 작업 정확도(예: GENKI 및 HAR에서 0.9 이상)를 유지하며, 강력한 프라이버시 보호에도 불구하고 유티리티 손실이 최소한이다.
• 소음이 첨가된 minimax 필터는 순수하게 차별적 프라이버시 기반 메커니즘보다 우수한 성능을 보이며, 두 접근 방식의 장점을 결합하여 강력한 추론 저항력과 공식적인 프라이버시 보장을 동시에 확보한다.
• 전처리가 후처리보다 유티리티 측면에서 일관되게 우수하며, 특히 GENKI 및 HAR에서 더 효과적임을 확인하였다. 이는 소음 주입 이전에 필터링하는 것이 더 효과적임을 시사한다.
• 실증 결과는 공개된 다중 주제 데이터셋이 주로자 식별 공격에 매우 취약함을 확인하였고, minimax 필터는 이러한 위험을 효과적으로 완화함을 보여주었다.