[논문 리뷰] Obfuscation via Information Density Estimation

Hsiang Hsu, Shahab Asoodeh외 1명|arXiv (Cornell University)|2019. 10. 17.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 6

한 줄 요약

이 논문은 정보 밀도 추정을 위한 새로운 잘라낸 정보 밀도 추정기(TIDE)를 통해 정보 泄露를 일으키는 특징을 식별하고 왜곡하는 데이터 기반 프레임워크를 제안한다. 정보 밀도가 임계값을 초과하는 특징을 대상으로 하여, 특징별로 가우시안 메커니즘을 적용함으로써 $Γ}$-분산을 통한 증명 가능한 泄露 제어를 보장하며, 이미지 및 텍스트 데이터셋에서 최소한의 사용자 정의 유틸리티 제약 조건으로 강력한 프라이버시-유틸리티 트레이드오프를 입증한다.

ABSTRACT

Identifying features that leak information about sensitive attributes is a key challenge in the design of information obfuscation mechanisms. In this paper, we propose a framework to identify information-leaking features via information density estimation. Here, features whose information densities exceed a pre-defined threshold are deemed information-leaking features. Once these features are identified, we sequentially pass them through a targeted obfuscation mechanism with a provable leakage guarantee in terms of $\mathsf{E}_γ$-divergence. The core of this mechanism relies on a data-driven estimate of the trimmed information density for which we propose a novel estimator, named the trimmed information density estimator (TIDE). We then use TIDE to implement our mechanism on three real-world datasets. Our approach can be used as a data-driven pipeline for designing obfuscation mechanisms targeting specific features.

연구 동기 및 목표

• 데이터 기반의 체계적인 방법을 개발하여 데이터셋 내에서 민감한 정보를 泄露하는 특징을 식별한다.
• 민감한 속성에 대한 사전 및 사후 분포 간의 $Γ}$-분산을 측정하여, 오브퓨세이션에 대해 증명 가능한 프라이버시 보장을 제공한다.
• 표본 수가 제한된 고차원 실세계 데이터에서 잘라낸 정보 밀도를 신뢰성 있게 추정하여, 무한대 정보 밀도 추정의 과제를 극복한다.
• 저위험 특징에 대한 불필요한 노이즈를 피하기 위해, 높은 泄露를 보이는 특징에만 집중적으로 오브퓨세이션을 적용하는 메커니즘을 설계하여 데이터 유틸리티를 유지한다.
• 데이터 소유자가 위험을 초과하는 특정 특징을 식별하고 소통할 수 있도록 해석 가능성을 제공한다.

제안 방법

• 프레임워크는 사전에 지정된 임계값 이상의 정보 밀도를 가진 특징을 식별함으로써 정보 泄露 특징을 식별한다.
• TIDE(Tamed Information Density Estimator)라는 새로운 추정기를 사용하며, $f$-분산의 변분 표현 기반으로 유한 표본에서 잘라낸 정보 밀도를 추정한다.
• TIDE는 신경망 기반 아키텍처를 사용하며, 일致성과 표본 복잡도 보장을 확보하기 위해 적대적 최적화를 통해 훈련된다.
• 정보 밀도가 높은 특징에만 선택적으로 오브퓨세이션을 적용하며, 특징에 따라 달라지는 가우시안 메커니즘을 사용하여 $Γ}$-분산이 유한하게 유지되도록 보장함으로써 프라이버시 泄露를 최소화하면서 유틸리티를 유지한다.
• 각 모odal에 맞는 맞춤형 신경망 아키텍처를 사용하여 세 가지 실세계 데이터셋(GENKI-4K(얼굴 이미지), CelebA(유명인 속성), 정치적 편향이 있는 트윗)에서 검증하였다.
• TIDE는 데이터로부터 정보 밀도를 추정하기 위해 함께 훈련되며, 오브퓨세이션 메커니즘은 식별 후 적용되어 泄露를 감소시키는 종단간 프레임워크이다.

실험 결과

연구 질문

• RQ1 실세계 데이터셋에서 정보 밀도 추정을 통해 민감한 정보를 泄露하는 특징을 체계적으로 식별할 수 있는가?
• RQ2 표본 수가 제한된 고차원 데이터에서 잘라낸 정보 밀도를 신뢰성 있게 추정할 수 있는가?
• RQ3 높은 泄露 특징에만 집중하는 데이터 기반 오브퓨세이션 메커니즘이 유틸리티에 미치는 영향을 최소화하면서 강력한 프라이버시 보장을 달성할 수 있는가?
• RQ4 표본 제약 조건 하에서 기존의 플러그인 추정기나 커널 밀도 추정기보다 TIDE 추정기가 정보 밀도 추정에서 더 우수한 성능을 보일 수 있는가?
• RQ5 $Γ}$-분산이 실용적인 오브퓨세이션 파이프라인에서 프라이버시 泄露를 정량화하는 데 있어 강력하고 해석 가능한 측정 기준이 될 수 있는가?

주요 결과

• GENKI-4K 데이터셋에서, 이 방법은 $I(S,X) = 0.594$ 비트를 달성하여 엔트로피 $H(S) = 1$ 비트보다 뚜렷이 낮게, 효과적인 泄露 감소를 보였다.
• CelebA 데이터셋에서 상호정보량 $I(S,X)$는 $0.967$ 비트에 도달하여 $H(S) = 1$ 비트에 가까워, 표적 속성(미소)에 매우 민감함을 보였으며, 이는 방법이 성공적으로 식별하고 오브퓨세이션을 적용했다.
• 정치적 편향이 있는 트윗 실험에서, 방법은 $I(S;X) = 0.645$ 비트를 추정하여 측정 가능한 泄露를 보였으며, 오브퓨세이션 대상이 될 수 있었다.
• 합성 가우시안 데이터에서 TIDE는 가중 평균 절대오차(WMAE)가 0.005–0.057을 기록하여 플러그인 추정기(0.466–1.821)와 커널 밀도 추정기(0.252–1.395)보다 뚜렷이 뛰어났다.
• TIDE 추정기는 낮은 WMAE를 기록하며 강력한 일관성과 표본 효율성을 보였으며, 표본 수가 3,000개 뿐이어도 기준 방법보다 낮은 WMAE를 기록했다.
• 이 프레임워크는 특정 특징(예: 얼굴 영역, 키워드 등)이 泄露에 가장 기여하는지 식별함으로써, 데이터 소유자가 정보 보호 결정을 내리는 데 도움이 되는 해석 가능한 프라이버시 보호를 가능하게 했다.