[논문 리뷰] Toward Detecting Violations of Differential Privacy.

Ding Ding, Yuxin Wang외 3명|arXiv (Cornell University)|2018. 05. 25.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 1

한 줄 요약

이 논문은 잘못된 알고리즘에서 차별적 프라이버시 위반을 자동으로 탐지하기 위해 통계적 방법을 제안한다. 짧고 인간이 읽을 수 있는 반례를 생성한다. 알고리즘을 동일한 입력으로 여러 번 실행하고, 통계적 검정을 적용하여 프라이버시 유출 여부를 탐지한다. 높은 정확도로 몇 초 내에 잘못 구현된 알고리즘을 성공적으로 식별한다.

ABSTRACT

The widespread acceptance of differential privacy has led to the publication of many sophisticated algorithms for protecting privacy. However, due to the subtle nature of this privacy definition, many such algorithms have bugs that make them violate their claimed privacy. In this paper, we consider the problem of producing counterexamples for such incorrect algorithms. The counterexamples are designed to be short and human-understandable so that the counterexample generator can be used in the development process -- a developer could quickly explore variations of an algorithm and investigate where they break down. Our approach is statistical in nature. It runs a candidate algorithm many times and uses statistical tests to try to detect violations of differential privacy. An evaluation on a variety of incorrect published algorithms validates the usefulness of our approach: it correctly rejects incorrect algorithms and provides counterexamples for them within a few seconds.

연구 동기 및 목표

• 차별적 프라이버시 알고리즘에서 발생하는 사소한 버그를 그가 주장하는 프라이버시 보장을 위반하는지 탐지하는 데 도전하는 것.
• 잘못된 구현을 위한 간결하고 인간이 이해할 수 있는 반례를 생성하는 실용적이고 자동화된 도구를 개발하는 것.
• 개발자가 알고리즘 개발 과정에서 프라이버시 보장 알고리즘을 신속하게 디버깅하고 개선할 수 있도록 돕는 것.
• 다양한 출판된 잘못된 알고리즘에서 통계적 검정이 프라이버시 위반을 식별하는 데 얼마나 효과적인지 평가하는 것.

제안 방법

• 후보 차별적 프라이버시 알고리즘을 동일한 입력으로 여러 번 실행하여 출력 분포를 수집하는 방법.
• 이웃하는 입력에서의 출력 분포를 비교하기 위해 통계적 가설 검정을 적용하여 유의미한 차이가 있는지 탐지하는 방법.
• 통계적 검정의 p-값을 사용하여 알고리즘이 차별적 프라이버시를 충족하지 못하는지 평가하는 방법.
• 통계적으로 유의미한 편차를 보이는 입력 쌍과 출력 패턴을 식별하여 반례를 생성하는 방법.
• 가벼우며 빠르게 동작하여 알고리즘 개발 과정에서 상호작용적으로 탐색할 수 있도록 설계된 방법.

실험 결과

연구 질문

• RQ1 통계적 검정은 출판된 잘못된 알고리즘에서 차별적 프라이버시 위반을 효과적으로 탐지할 수 있는가?
• RQ2 이 방법은 개발자에게 이해하기 쉬운 짧고 명확한 반례를 생성할 수 있는가?
• RQ3 실제로 이 방법은 얼마나 빨리 프라이버시 위반을 식별할 수 있는가?
• RQ4 이 방법은 다양한 종류의 잘못된 차별적 프라이버시 구현에 대해 얼마나 견고한가?

주요 결과

• 검토된 모든 잘못된 차별적 프라이버시 알고리즘을 성공적으로 기각하여, 이 방법이 프라이버시 위반을 탐지할 수 있음을 확인했다.
• 반례는 몇 초 내에 생성되어 알고리즘 개발 과정에서 빠른 피드백을 가능하게 했다.
• 이 방법은 인간이 이해할 수 있는 반례를 생성하여 특정 알고리즘이 왜 차별적 프라이버시를 충족하지 못하는지 명확히 보여주었다.
• 통계적 검정은 사소하고 수동으로 탐지하기 어려운 프라이버시 위반의 경우에도 효과적이었다.