[논문 리뷰] Precision-based attacks and interval refining: how to break, then fix, differential privacy on finite computers

Samuel Haney, Damien Desfontaines외 3명|arXiv (Cornell University)|2022. 07. 27.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 유한 정밀도 컴퓨터에서 차등적 비밀유지 메커니즘을 안전하게 구현하기 위한 새로운 기법인 간격 수축(interval refining)을 소개한다. 이 기법은 연속적인 분포에서 정확하게 표본을 추출한 후 반올림하는 것과 동일한 결과를 얻기 위해 반복적으로 간격을 좁혀 최종적으로 하나의 부동소수점 수로 매핑되도록 한다. 이 방법은 최소한의 오차와 증명 가능한 비밀유지 보장을 보장하며, 라플라스 메커니즘에 적용된 결과 1초당 30,000개의 표본을 처리하고, 98%의 경우 한 번의 반복만으로 종료된다.

ABSTRACT

Despite being raised as a problem over ten years ago, the imprecision of floating point arithmetic continues to cause privacy failures in the implementations of differentially private noise mechanisms. In this paper, we highlight a new class of vulnerabilities, which we call \emph{precision-based attacks}, and which affect several open source libraries. To address this vulnerability and implement differentially private mechanisms on floating-point space in a safe way, we propose a novel technique, called \emph{interval refining}. This technique has minimal error, provable privacy, and broad applicability. We use interval refining to design and implement a variant of the Laplace mechanism that is equivalent to sampling from the Laplace distribution and rounding to a float. We report on the performance of this approach, and discuss how interval refining can be used to implement other mechanisms safely, including the Gaussian mechanism and the exponential mechanism.

연구 동기 및 목표

• 유한 부동소수점 환경에서 차등적 비밀유지가 위협받는 새로운 유형의 취약점—정밀도 기반 공격—을 규명하고, 이를 입증한다.
• 기존 라이브러리에서 흔히 사용되는 완화 기법의 한계를 해결한다. 이러한 기법들은 복잡하거나 일반화되지 않거나, 비밀유지 손실을 유발할 수 있다.
• 유한 정밀도 시스템에서 연속 분포로부터 안전하고, 증명 가능한 비밀유지 및 최소 오차를 가진 표본 추출을 가능하게 하는 기법을 설계한다.
• 라플라스 메커니즘 외에도 일반화된 적용 가능성을 입증한다. 예를 들어 가우시안 및 지수 메커니즘과 같은 다른 메커니즘에도 적용 가능하다.

제안 방법

• 이 방법은 간격 수축을 사용한다: 부동소수점 공간에서 반복적으로 표본을 추출하고 간격을 좁혀 전체 간격이 하나의 부동소수점 수로 반올림될 때까지 진행한다.
• 오차가 보장되는 오차 한계를 가진 역누적분포함수(inverse CDFs) 계산을 위해 Arb 라이브러리를 활용한 임의 정밀도 볼 산술(arbitrary-precision ball arithmetic)을 사용하여 정확성을 확보한다.
• 각 반복에서 한 비트씩 표본을 추출하는 대신, 구현체는 각 단계에서 63비트를 동시에 추출하여 런타임을 약 40배 감소시키면서도 정확성을 유지한다.
• 정확한 연속 분포에서의 표본 추출 후 반올림을 모방하며, 오직 피하기 어려운 반올림 단계에서만 오차가 발생한다.
• 간격이 하나의 부동소수점 수에 완전히 포함될 때까지 수렴이 보장되며, 이는 각 표본에 대해 결정론적 출력을 보장한다.
• 이 기법은 일반화 가능하며, 종료 조건을 조정함으로써 노이즈가 있는 argmax 및 분위수 추정과 같은 다른 메커니즘에도 적용할 수 있다.

실험 결과

연구 질문

• RQ1 왜 표준 노이즈 분포를 사용하더라도 부동소수점 산술이 차등적 비밀유지 메커니즘에 비밀 유출을 유발할 수 있는가?
• RQ2 왜 diffprivlib, SmartNoise Core, OpenDP와 같은 인기 있는 라이브러리 내의 기존 완화 전략들 역시 여전히 정밀도 기반 공격에 취약한가?
• RQ3 유한 부동소수점 환경에서 최소한의 오차와 증명 가능한 비밀유지를 동시에 확보할 수 있는 기법을 설계할 수 있는가?
• RQ4 간격 수축을 어떻게 활용하여 나이브 부동소수점 표본 추출과 유사한 성능을 확보하면서도 안전하게 라플라스 메커니즘을 구현할 수 있는가?
• RQ5 간격 수축 기법은 가우시안 및 지수 메커니즘과 같은 다른 차등적 비밀유지 메커니즘으로 얼마나 넓게 일반화될 수 있는가?

주요 결과

• 제안된 간격 수축 기법은 연속적인 라플라스 분포에서 정확하게 표본을 추출한 후 가장 가까운 부동소수점 수로 반올림하는 것과 동일한 오차를 달성하며, 표본 추출 과정에서 추가 오차가 없다.
• Tumult 플랫폼에서의 구현은 1초당 30,000개의 표본을 처리하는 실용적인 성능을 보였다.
• 2000만 회의 시험에서 98%의 표본이 한 번의 반복만으로 종료되었으며, 나머지 2%는 두 번의 반복만 필요했고, 세 번 이상 반복이 필요한 표본은 전혀 없었다.
• 이 방법은 증명 가능한 비밀유지를 보장하며, 추상 알고리즘과 동일한 비밀유지 보장을 유지하므로 순수 비밀유지 및 제로 집중된 DP 계산과도 호환된다.
• 이 기법은 강건하고 일반화 가능하며, 지수 메커니즘 및 노이즈가 있는 argmax와 같은 복잡한 메커니즘으로의 확장 가능성도 있다.
• Arb의 볼 산술을 사용함으로써, 역누적분포함수를 근사할 때조차도 계산 전반에 걸쳐 오차를 제한함으로써 정확성을 보장한다.