[논문 리뷰] APEx: Accuracy-Aware Differentially Private Data Exploration

Chang Ge, Xi He외 2명|arXiv (Cornell University)|2017. 12. 29.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 5

한 줄 요약

APEx는 데이터 분석가가 정확도 상한을 설정함으로써 증명 가능한 차별적 비밀보장과 함께 민감한 데이터셋을 탐색할 수 있도록 하는 새로운 시스템이다. 쿼리와 정확도 요구사항을 최소한의 비밀유지 손실로 변환함으로써 APEx는 합리적인 비밀유지 예산 범위 내에서 높은 품질의 쿼리 결과를 보장하며, 엔티티 해석 및 데이터 탐색 워크플로우에서 뛰어난 성능을 입증한다.

ABSTRACT

Organizations are increasingly interested in allowing external data scientists to explore their sensitive datasets. Due to the popularity of differential privacy, data owners want the data exploration to ensure provable privacy guarantees. However, current systems for answering queries with differential privacy place an inordinate burden on the data analysts to understand differential privacy, manage their privacy budget, and even implement new algorithms for noisy query answering. Moreover, current systems do not provide any guarantees to the data analyst on the quality they care about, namely accuracy of query answers. We present APEx, a novel system that allows data analysts to pose adaptively chosen sequences of queries along with required accuracy bounds. By translating queries and accuracy bounds into differentially private algorithms with the least privacy loss, APEx returns query answers to the data analyst that meet the accuracy bounds, and proves to the data owner that the entire data exploration process is differentially private. Our comprehensive experimental study on real datasets demonstrates that APEx can answer a variety of queries accurately with moderate to small privacy loss, and can support data exploration for entity resolution with high accuracy under reasonable privacy settings.

연구 동기 및 목표

• 기존의 차별적 비밀보장 시스템에서 정확도 보장을 제공하지 못하는 문제를 해결하여, 분석가가 비밀유지 예산을 관리하고 복잡한 노이즈 메커니즘을 이해하는 데 부담을 느끼지 않도록 한다.
• 비밀유지 파rameter 대신 정확도 상한을 지정함으로써 데이터 분석가의 인지 부담을 줄이고, 비밀유지 예산 설정에서 쿼리 품질 중심으로의 초점을 이동시킨다.
• 데이터 소유자에게 증명 가능한 차별적 비밀보장 보장을 제공하면서도, 쿼리 결과가 사용자가 지정한 정확도 요구사항을 충족하도록 보장한다.
• 선언적 쿼리 인터페이스를 통해 엔티티 해석, 스키마 매칭, 특징 공학 등 다양한 데이터 탐색 워크로드를 지원한다.
• 쿼리와 정확도 제약 조건을 지능적으로 최적의 차별적 비밀보장 메커니즘으로 변환함으로써 비밀유지 손실(ε)을 최소화한다.

제안 방법

• APEx는 비밀유지 손실(ε)을 최소화하는 문제로 설정하며, 기존의 ε를 고정하고 정확도를 알 수 없는 방식과는 반대로 접근한다.
• 선언적 집계 쿼리(예: COUNT, TOP-K, 히스토GRAM)를 최적의 노이즈 캘리브레이션을 갖춘 차별적 비밀보장 메커니즘으로 변환하는 번역 레이어를 활용한다.
• 고급 노이즈 캘리브레이션 기법, 예를 들어 가우시안 메커니즘과 고급 복합 기법을 사용하여 정확도 제약 조건을 충족하면서도 ε를 최소화한다.
• 쿼리 유형과 필요 정확도에 따라 동적으로 비밀유지 예산을 할당함으로써 순차적 쿼리 시퀀스를 지원하며, 종단 간 비밀보장 보장을 확보한다.
• 블로킹 전략과 비밀유지 제약 조건 하에서의 조건 선택을 지원함으로써 실세계 데이터 탐색 파이프라인(예: 엔티티 해석)과 통합한다.
• 모든 탐색 과정이 다수의 순차적 쿼리 동안에도 차별적 비밀보장이 유지됨을 공식적으로 증명한다.

실험 결과

연구 질문

• RQ1 사용자가 지정한 정확도 상한을 충족시키면서도 비밀유지 손실(ε)을 최소화할 수 있는 시스템을 설계할 수 있는가?
• RQ2 인터랙티브 데이터 탐색 과정에서 데이터 분석가가 차별적 비밀보장을 관리하는 데서 오는 부담을 어떻게 줄일 수 있는가?
• RQ3 어느 정도의 정밀도로 APEx는 중간 수준의 비밀유지 예산 범위 내에서 엔티티 해석과 같은 복잡한 데이터 탐색 작업을 높은 정확도로 지원할 수 있는가?
• RQ4 정확도 상한(α)과 데이터 크기의 선택이 탐색의 품질과 비밀유지 비용에 어떤 영향을 미치는가?
• RQ5 실세계 워크로드에서 APEx는 기존 시스템에 비해 종단 간 정확도와 비밀유지 효율성 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• APEx는 엔티티 해석 작업에서 높은 정확도를 달성하였으며, 블로킹 전략(BS1 및 BS2)이 동일한 비밀유지 예산(B=0.5)에서 기준 방법보다 최대 25% 높은 리콜을 달성하였다.
• 비밀유지 예산을 B=1.0으로 고정했을 때, 최적의 정확도 요구사항(α)은 |D|=1000인 경우 약 0.16|D|, |D|=4000인 경우 약 0.08|D|이며, 이는 데이터 크기에 따라 최적의 α가 달라짐을 시사한다.
• MS2(다단계 전략)의 경우 정확도 요구사항이 너무 느슨할 경우(예: α > 0.32|D|), 노이즈가 섞인 결과로 인해 조건 선택이 잘못되어 F1 스코어가 저하됨을 확인하였다.
• 정확도 요구사항을 어느 정도까지 완화하면 동일한 비밀유지 예산 범위 내에서 더 많은 쿼리를 처리할 수 있으나, 지나친 완화는 노이즈 증가로 이어져 결과 품질이 떨어짐을 보였다.
• ICQ와 TCQ의 비밀유지 비용은 WCQ보다 일관되게 낮았으며, 이는 더 적은 데이터 포인트가 노출되었기 때문이며, 이는 시스템의 유출 최소화 효율성을 입증한다.
• APEx는 중간 수준의 비밀유지 손실로도 고품질의 데이터 탐색을 가능하게 하여, 기존의 ε 고정 방식에 비해 정확도 중심의 비밀보장 관리가 사용성과 성능을 크게 향상시킨다는 점을 입증하였다.