[논문 리뷰] Learning Anonymized Representations with Adversarial Neural Networks

Clément Feutry, Pablo Piantanida외 2명|arXiv (Cornell University)|2018. 02. 26.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 54

한 줄 요약

논문은 일반 예측 작업을 위한 정보를 보존하면서 개인 신원 정보를 숨기는 데이터를 학습하기 위한 세 네트워크 대립 프레임워크를 제시하며, 숫자 데이터셋, 감정 분석, 얼굴 데이터셋에서 검증되었습니다.

ABSTRACT

Statistical methods protecting sensitive information or the identity of the data owner have become critical to ensure privacy of individuals as well as of organizations. This paper investigates anonymization methods based on representation learning and deep neural networks, and motivated by novel information theoretical bounds. We introduce a novel training objective for simultaneously training a predictor over target variables of interest (the regular labels) while preventing an intermediate representation to be predictive of the private labels. The architecture is based on three sub-networks: one going from input to representation, one from representation to predicted regular labels, and one from representation to predicted private labels. The training procedure aims at learning representations that preserve the relevant part of the information (about regular labels) while dismissing information about the private labels which correspond to the identity of a person. We demonstrate the success of this approach for two distinct classification versus anonymization tasks (handwritten digits and sentiment analysis).

연구 동기 및 목표

• 개인 라벨을 보호하는 한편 일반 라벨에 대한 정보를 보존하기 위해 표현의 익명화를 동기 부여하고 형식화한다.
• 위생화된 표현의 학습을 안내하는 정보 이론적 목표를 개발한다.
• 개인정보 보호와 유용성을 균형 있게 맞추기 위해 (인코더, 일반 라벨 예측기, 비공개 라벨 예측기)로 구성된 세 네트워크 아키텍처를 적대적 학습과 함께 제안한다.
• 일반 작업 성능 손실 없이 프라이버시를 촉진하는 실행 가능하고 다루기 쉬운 학습 목표를 제공한다.
• 필기 숫자 및 감정/얼굴 표정 데이터셋에서 실행 가능성을 입증한다.

제안 방법

• 입력을 표현으로 매핑하는 인코더 Q_{U|X}를 도입하고, 일반 라벨용 예측기 Q_{\,Y|U}와 비공개 라벨용 예측기 Q_{\,Z|U}를 추가한다.
• λ로 제어되는 프라이버시 항과 결합된 Y의 경험적 손실을 연결하는 정보 이론적 대리 목표를 도출한다.
• 인코더가 U로부터 Z 예측의 난이도를 최대화하도록 학습하는 동시에 Y 예측을 돕는 세 네트워크 적대적 설정을 사용한다.
• 익명화 제약을 근사하기 위해 경험적 교차 엔트로피 목표와 상호 정보의 대리를 채택한다.
• 예측기를 업데이트하고 적대적으로 인코더를 업데이트하는(토글 학습) 훈련 절차를 구현한다.
• Pen-digits(필자 신원 및 숫자), FERG(얼굴 표정), JAFFE 데이터셋에서 서로 다른 도메인에서의 익명화를 설명하기 위해 평가한다.

실험 결과

연구 질문

• RQ1 개인 라벨에 대한 정보를 최소화하면서 일반 라벨에 대한 정보를 보존하는 표현은 어떻게 학습할 수 있는가?
• RQ2 딥 네트워크에서 익명화와 예측 유용성을 효과적으로 균형 있게 맞추는 목표와 학습 절차는 무엇인가?
• RQ3 제안된 프레임워크가 손글씨, 감정, 얼굴 표정 작업에서 익명화 설정으로 어떤 성능을 보이나?
• RQ4 실행 가능한 상호 정보의 근사치로써 학습을 용이하게 할 수 있는 방법은 무엇인가?
• RQ5 학습 전략(토글 대 동시 학습)이 익명화-유용성 트레이드오프에 미치는 영향은 무엇인가؟

주요 결과

• 세 네트워크 적대적 아키텍처는 개인 라벨 예측을 약화시키면서 일반 라벨 정확도는 유지하는 익명화된 표현을 학습할 수 있다.
• 정보 이론적 대리 목표는 경험적 위험과 λ라는 하이퍼파라미터로 제어되는 프라이버시 관련 항을 결합함으로써 실행 가능한 학습을 가능하게 한다.
• 토글 학습이 동시 학습보다 평가된 작업에서 더 나은 익명화-유용성 트레이드오프를 제공한다.
• 실험적 결과는 이 방법이 숫자 필자 및 얼굴의 신원을 익명화하면서도 숫자 및 표정 작업에 필요한 정보를 보존함을 보여준다.
• 교차 엔트로피 대리와 경험적 상호 정보 한계를 기반으로 개인 라벨 오분류 확률의 계산 가능한 하한을 제공한다.
• 이 프레임워크는 여러 모달리티에 걸쳐 견고함을 보여주며, 감독 학습에서 익명화된 표현의 일반적 적용 가능성을 시사한다.