[논문 리뷰] Learning to Succeed while Teaching to Fail: Privacy in Closed Machine Learning Systems

Jure Sokolić, Qiang Qiu외 2명|arXiv (Cornell University)|2017. 05. 23.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 3

한 줄 요약

이 논문은 주요 작업(예: 의료 진단)에서 성공하도록 모델을 훈련시키면서도, 민감한 속성(예: 성별 또는 인종)을 추론하는 데는 능동적으로 실패하도록 하는 폐쇄형 기계학습 프레임워크를 제안한다. 이는 보편적인 적대적 가정에 의존하지 않고도 기밀성을 확보한다. 방법은 제약 조건이 있는 선형 투영과 MMD 기반 노이즈 주입을 사용하여 민감한 속성 추론 능력을 떨어뜨리면서도 주요 작업의 유티리티를 유지한다. 실험 결과, 보호된 작업에서 55%의 정확도를 달성하였다.

ABSTRACT

Security, privacy, and fairness have become critical in the era of data science and machine learning. More and more we see that achieving universally secure, private, and fair systems is practically impossible. We have seen for example how generative adversarial networks can be used to learn about the expected private training data; how the exploitation of additional data can reveal private information in the original one; and how what looks like unrelated features can teach us about each other. Confronted with this challenge, in this paper we open a new line of research, where the security, privacy, and fairness is learned and used in a closed environment. The goal is to ensure that a given entity (e.g., the company or the government), trusted to infer certain information with our data, is blocked from inferring protected information from it. For example, a hospital might be allowed to produce diagnosis on the patient (the positive task), without being able to infer the gender of the subject (negative task). Similarly, a company can guarantee that internally it is not using the provided data for any undesired task, an important goal that is not contradicting the virtually impossible challenge of blocking everybody from the undesired task. We design a system that learns to succeed on the positive task while simultaneously fail at the negative one, and illustrate this with challenging cases where the positive task is actually harder than the negative one being blocked. Fairness, to the information in the negative task, is often automatically obtained as a result of this proposed approach. The particular framework and examples open the door to security, privacy, and fairness in very important closed scenarios, ranging from private data accumulation companies like social networks to law-enforcement and hospitals.

연구 동기 및 목표

• 데이터에서 민감한 속성(예: 성별, 인종)이 추론될 수 있는 기계학습 시스템에서의 기밀 유출 증가 문제를 해결하기 위해.
• 신뢰할 수 있는 실체(예: 병원 또는 기업)가 원하는 작업(예: 진단)을 수행할 수 있지만, 보호된 정보를 추론하지 못하도록 하는 시스템을 설계하기 위해.
• 보편적인 기밀 보장 보장을 넘어서, 외부 제약이 아닌 모델 설계를 통해 기밀을 강제하는 폐쇄적이고 통제된 환경에서 작동함으로써 기존의 한계를 극복하기 위해.
• 주요 작업이 보호된 작업보다 더 복잡할 경우에도 기밀이 확보될 수 있음을 입증하여, 보통 기밀 보장이 보호된 작업이 더 쉬울 때에만 가능하다는 가정을 도전하기 위해.
• 실제 시스템인 헬스케어, 법집행, 소셜 네트워크 등에 적용 가능한 실용적이고 경험적으로 검증된 기밀 보장 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 민감한 속성을 분리하는 방향으로 데이터 공간을 압축하는 선형 투영 행렬 $ P $ 를 사용하며, 민감한 레이블에 대해 훈련된 SVM의 가중치 벡터를 기반으로 반복적으로 업데이트된다.
• 투영은 $ P = P'P $ 를 통해 업데이트되며, $ P' $ 의 커널이 SVM의 가중치 벡터와 일치함으로써 모델의 민감한 속성 분류 능력이 점차 감소한다.
• 최대 평균 차이(MMD) 기반 변환은 입력 특징에 비선형 노이즈를 추가하여 민감한 속성의 양성 또는 음성 클래스 중 임의의 클래스 분포에 가깝게 이동시키는 계수 벡터 $ \theta(x) $ 를 학습한다.
• 노이즈 벡터 $ n(x) = D\theta(x) $ 는 $ \sigma = 0.001 $ 인 가우시안 커널 $ k(x,x') = \exp(-\|x-x'\|_2^2 / 2\sigma^2) $ 를 사용하여 계산되며, 클래스 유사도를 최대화하기 위해 기울기 상승을 통해 최적화된다.
• 최적화 과정은 10,000회 반복하고 학습률는 0.05로 설정하여 변환된 데이터가 민감한 속성에 대해 모호해지도록 보장한다.
• 유티리티와 기밀 보장 간의 트레이드오프는 투영 커널의 차원 또는 MMD 기반 편향의 크기를 조정하여 제어한다.

실험 결과

연구 질문

• RQ1 주요 작업이 더 복잡한 경우에도 민감한 속성을 추론하지 못하도록 하는 동시에 주요 작업에서 성공하는 기계학습 시스템을 설계할 수 있는가?
• RQ2 데이터 처리자가 신뢰할 수 있지만 보호된 정보를 접근하거나 추론하지 못하도록 해야 하는 폐쇄 시스템에서 기밀은 어떻게 보장할 수 있는가?
• RQ3 선형 투영과 MMD 기반 변환은 주요 작업 성능에 영향을 주지 않으면서 민감한 속성 추론 능력을 어느 정도까지 떨어뜨릴 수 있는가?
• RQ4 민감한 속성 추론에 실패하도록 훈련된 시스템에서 자동으로 공정성이 달성되는가?
• RQ5 이 프레임워크는 헬스케어와 소셜 미디어와 같은 실생활 응용 분야에서 실용적이고 경험적으로 검증 가능한 기밀 보장 보장을 제공할 수 있는가?

주요 결과

• 제안된 선형 투영 방법은 테스트 세트에서 민감한 속성 분류 정확도를 55%로 낮춰 추론 능력의 효과적인 억제를 입증하였다.
• MMD 기반 정제 방법은 입력 특징을 민감한 속성의 양성 또는 음성 클래스 중 하나의 분포로 변형하여 원래 레이블을 효과적으로 가림으로써 유사한 기밀 보호 효과를 달성하였다.
• 프레임워크는 보호된 작업 성능이 떨어지는 동안에도 주요 작업(예: 진단)에 대해 높은 유티리티를 유지함으로써 기술적 트레이드오프의 타당성을 검증하였다.
• 이 접근법은 자연스럽게 공정성을 증진시키며, 민감한 속성을 추론하지 못하는 모델은 본질적으로 이러한 속성에 기반한 차별적 행동을 피하게 된다.
• 경험적 평가 결과, 이 방법은 데이터 이동에 대해 강건하며 병원과 소셜 네트워크와 같은 다양한 실생활 시나리오에 적용 가능함을 확인하였다.
• 보편적인 기밀 보장이 불가능한 외부 데이터 泄露 위험으로 인해 실현 불가능한 폐쇄 시스템에서 비보편적이지만 효과적인 기밀 보장 솔루션을 제공한다.