[논문 리뷰] Trade-offs and Guarantees of Adversarial Representation Learning for Information Obfuscation

Han Zhao, Jianfeng Chi외 2명|arXiv (Cornell University)|2019. 06. 19.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 6

한 줄 요약

이 논문은 동시에 작업 정확도를 극대화하고 민감한 속성의 정보 泄露를 최소화하기 위해 적대적 표현 학습을 위한 최소최대 최적화 프레임워크를 제안한다. worst-case 추론 오차에 대한 정보이론적 하한을 수립하여 정확도와 은폐 간의 기본적인 상충 관계를 증명하고, 실험적으로 적대적 학습이 최신 기법들 중에서 가장 우수한 상충 관계를 달성함을 보여준다.

ABSTRACT

Crowdsourced data used in machine learning services might carry sensitive information about attributes that users do not want to share. Various methods have been proposed to minimize the potential information leakage of sensitive attributes while maximizing the task accuracy. However, little is known about the theory behind these methods. In light of this gap, we develop a novel theoretical framework for attribute obfuscation. Under our framework, we propose a minimax optimization formulation to protect the given attribute and analyze its inference guarantees against worst-case adversaries. Meanwhile, it is clear that in general there is a tension between minimizing information leakage and maximizing task accuracy. To understand this, we prove an information-theoretic lower bound to precisely characterize the fundamental trade-off between accuracy and information leakage. We conduct experiments on two real-world datasets to corroborate the inference guarantees and validate this trade-off. Our results indicate that, among several alternatives, the adversarial learning approach achieves the best trade-off in terms of attribute obfuscation and accuracy maximization.

연구 동기 및 목표

• 기계 학습에서 속성 은폐 기법에 대한 이론적 이해 부족을 해결하기 위해.
• 속성 추론 공격을 공식화하고, 악성 최악의 상황에서의 적대적 공격을 고려한 표현 학습 문제로 속성 은폐를 정의하기 위해.
• 작업 정확도와 정보 泄露 보호를 균형 잡는 최소최대 최적화 설정을 수립하기 위해.
• 정확도와 은폐 간의 기본 상충 관계를 특징짓기 위해 추론 오차에 대한 정보이론적 하한을 유도하기 위해.
• 이론적 보장을 실험적으로 검증하고, 다른 최신 기법들과의 비교를 통해 적대적 학습의 성능을 평가하기 위해.

제안 방법

• 표현 학습자가 악성 최악의 상황에서 민감한 속성을 추론하려는 적대자와 경쟁하는 최소최대 최적화 문제로 속성 은폐를 공식화하기 위해.
• 원시 데이터를 타겟 작업에 유용성을 유지하면서 민감한 속성과의 상관관계를 최소화하는 잠재 공간으로 매핑하기 위해 표현 학습을 사용하기 위해.
• 어떤 적대자도 보호된 속성을 복구하는 데 발생할 수 있는 최악의 오차를 제한함으로써 공식적인 추론 보장을 제공하는 이론적 프레임워크를 도입하기 위해.
• 추론 오차에 대한 정보이론적 하한을 증명하여 정확도와 은폐 간의 본질적 상충 관계를 정량화하기 위해.
• 민감한 속성을 추론하는 데 성공률을 최소화하기 위해 적대적 훈련을 적용한 딥 네ural 네트워크를 설계하고 훈련하기 위해.
• 다양한 기준선(적대적 학습, 오토인코더, 변동형 추론 기반 방법 포함)을 사용하여 두 개의 실세계 데이터셋에서 접근 방식을 검증하기 위해.

실험 결과

연구 질문

• RQ1 표현 학습에서 속성 은폐를 위한 정확도와 정보 泄露 간의 기본 상충 관계는 무엇인가?
• RQ2 적대적 학습 하에서 속성 은폐에 대해 공식적인 최악의 상황 추론 보장을 제공할 수 있는가?
• RQ3 적대적 표현 학습은 정확도와 은폐를 균형 있게 유지하는 데 있어 다른 최신 기법들과 비교해 어떻게 성능을 내는가?
• RQ4 임의의 적대자에 대해 보호된 속성에 대한 추론 오차에 대해 존재하는 이론적 하한은 무엇인가?
• RQ5 제안된 최소최대 프레임워크는 실세계 환경에서 실질적인 성능 향상을 이끌어낼 수 있는가?

주요 결과

• 제안된 최소최대 설정은 공식적인 최악의 상황 추론 보장을 제공하여, 어떤 적대자라도 민감한 속성을 추론할 때 최소한의 오차를 반드시 겪어야 한다고 보장한다.
• 정확도와 은폐 간의 기본 상충 관계를 정확히 특징짓는 정보이론적 하한이 도출되었으며, 이는 완벽한 은폐와 높은 정확도를 동시에 달성할 수 없음을 보여준다.
• 두 개의 실세계 데이터셋에서의 실험 결과는 이론적 추론 보장과 일치하며, 적대적 표현 학습이 정확도와 속성 은폐 간의 최적 상충 관계를 달성함을 입증한다.
• 평가된 방법들 중에서 적대적 학습은 오토인코더나 변동형 추론 기반 방법들과 비교해 정보 泄露를 최소화하면서도 작업 성능을 유지하는 데 뚜렷한 우위를 보였다.
• 프레임워크는 데이터 내에 존재하는 잠재적인 상관관계로 인해 단순히 민감한 속성을 제거하는 것만으로는 부족함을 드러내었으며, 표현 수준의 은폐가 필요함을 검증한다.
• 결과는 적대적 표현 학습이 개인정보 보호 기반 기계 학습 시스템에 실용적으로 도입될 수 있는 유망한 접근법임을 시사한다.