[논문 리뷰] Information Laundering for Model Privacy

Xinran Wang, Xiang Yu외 2명|arXiv (Cornell University)|2020. 09. 13.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 10

한 줄 요약

이 논문은 기존에 훈련된 모델의 입력 및 출력 쿼리를 동시에 왜곡함으로써 모델 프라이버시를 향상시키기 위한 정보 이론적 프레임워크인 정보 런던링(information laundering)을 소개한다. 모델 유틸리티와 악성 추론의 어려움 사이의 트레이드오프를 최적화함으로써, 반복적 커널 설계를 통해 증명 가능한 최적의 프라이버시-유틸리티 균형을 달성하며, 유한 알파벳 가정 하에 수렴 보장을 갖는다.

ABSTRACT

In this work, we propose information laundering, a novel framework for enhancing model privacy. Unlike data privacy that concerns the protection of raw data information, model privacy aims to protect an already-learned model that is to be deployed for public use. The private model can be obtained from general learning methods, and its deployment means that it will return a deterministic or random response for a given input query. An information-laundered model consists of probabilistic components that deliberately maneuver the intended input and output for queries to the model, so the model's adversarial acquisition is less likely. Under the proposed framework, we develop an information-theoretic principle to quantify the fundamental tradeoffs between model utility and privacy leakage and derive the optimal design.

연구 동기 및 목표

• 공개 배포 중 악성 역공학 공격으로부터 기존에 훈련된 기계학습 모델을 보호할 필요가 점점 커지는 데에 대응하기 위해.
• 데이터 프라이버시와는 다를 바 있는 정보 이론적 원리를 사용해 모델 프라이버시를 위한 엄밀한 프라이버시-유틸리티 트레이드오프를 수립하기 위해.
• 모델 소유자가 제어 가능한 입력 및 출력 변환을 통해 모델의 행동을 의도적으로 흐리게 만들 수 있도록 체계적인 프레임워크를 개발하기 위해.
• 프라이버시를 극대화하면서도 수용 가능한 모델 유틸리티를 유지하는 입력 및 출력 커널의 최적 설계를 도출하기 위해.
• 정보 런던링을 실세계 모델 배포 환경에 구현하기 위한 수렴 보장과 실용적인 알고리즘을 제공하기 위해.

제안 방법

• 입력 $X$ 가 커널 $K_1$ 를 통해 왜곡되고, 출력 $\tilde{Y}$ 가 커널 $K_2$ 를 통해 왜곡되는 캐스케이드 모델을 제안하며, 이는 $X$ 에서 $Y$ 로의 효과적 채널 $K$ 를 형성한다.
• 입력 쌍 $X,\tilde{X}$ 와 출력 쌍 $\tilde{Y},Y$ 간 상호정보량과 $K$ 와 원본 모델 $K_*$ 간의 KL 발산을 조합한 목적 함수를 설계한다.
• 반복 최적화 알고리즘을 사용해 $K_1$ 과 $K_2$ 를 동시에 학습하며, 원본 모델 $K_*$ 가 결정론적이고 알파벳이 유한할 경우 전역 최소값 수렴이 증명된다.
• 출력 공간 $\mathcal{Y}$ 가 유한하고 $K_*$ 가 결정론적일 경우를 위한 단순화된 알고리즘(OIL-Y)을 유도하며, 효율적인 계산을 위한 행렬 표현을 사용한다.
• 지수 가중치와 정규화를 포함한 반복 업데이트를 통해 출력 커널 $p_{K_2}$ 와 근사 출력 분포 $p_Y$ 를 정밀하게 개선한다.
• 출력 왜곡 과정에서 프라이버시와 유틸리티 간 트레이드오프를 제어하기 위해 온도 유사 매개변수 $\beta_2$ 를 적용한다.

실험 결과

연구 질문

• RQ1 합법적 사용자가 이용하는 데에 손상이 가지 않도록 기존에 훈련된 모델의 프라이버시를 어떻게 향상시킬 수 있는가?
• RQ2 모델 유틸리티와 악성 모델 추출의 어려움 사이의 근본적인 트레이드오프는 무엇인가?
• RQ3 입력 및 출력 왜곡을 어떻게 공동으로 최적화하여 프라이버시를 극대화하면서 유틸리티 손실을 최소화할 수 있는가?
• RQ4 왜곡 설계의 수렴성과 최적성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 모델의 구조(예: 결정론적 대비 스토케스틱)는 정보 런던링의 효과성에 어떤 영향을 미치는가?

주요 결과

• 제안된 정보 런던링 프레임워크는 정보 이론적 목적 함수를 사용해 모델 유틸리티와 프라이버시 泄露 사이의 증명 가능한 트레이드오프를 달성한다.
• 원본 모델 $K_*$ 가 결정론적이고 출력 공간이 유한할 경우, 반복 최적화 절차의 전역 최소값 수렴이 증명된다.
• 유한 출력 알파벳 공간을 위한 특화된 알고리즘인 OIL-Y 가 유도되었으며, 행렬 연산을 통해 효율적인 구현이 가능하다.
• 이 방법은 적대자에게 진짜 모델 행동을 흐리게 하여 모델 추출을 상당히 어렵게 만들지만, 수용 가능한 응답 정밀도를 유지한다.
• 불균형한 입력 분포에 대해서도 프레임워크가 강건하며, $\beta_2$ 와 같은 매개변수를 통해 프라이버시-유틸리티 트레이드오프를 조정할 수 있다.
• 부록에 제시된 실험 결과는 알고리즘의 수렴을 확인하고, 다양한 설정에서 프라이버시와 유틸리티 간의 트레이드오프를 시각화한다.