[논문 리뷰] A New Approach to Adaptive Data Analysis and Learning via Maximal Leakage

Amedeo Roberto Esposito, Michael Gastpar외 1명|arXiv (Cornell University)|2019. 03. 05.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 7

한 줄 요약

이 논문은 입력 데이터에서 알고리즘 출력으로의 정보 유출을 측정하는 최대 유출(maхimal leakage)을 사용하여 적응형 데이터 분석을 위한 새로운 프레임워크를 제안한다. 최대 유출을 제한함으로써 저자들은 고전적 부등식(예: McDiarmid의 부등식)을 일반화하는 일반화 보장을 도출하며, 차별적 프라이버시와 최대 정보(max-information)의 결과를 능가하거나 동등하게 만족시키며, 적응형 학습과 분석에 대해 더 엄격하지는 않지만 구성적으로 안정적인 대안을 제공한다.

ABSTRACT

There is an increasing concern that most current published research findings are false. The main cause seems to lie in the fundamental disconnection between theory and practice in data analysis. While the former typically relies on statistical independence, the latter is an inherently adaptive process: new hypotheses are formulated based on the outcomes of previous analyses. A recent line of work tries to mitigate these issues by enforcing constraints, such as differential privacy, that compose adaptively while degrading gracefully and thus provide statistical guarantees even in adaptive contexts. Our contribution consists in the introduction of a new approach, based on the concept of Maximal Leakage, an information-theoretic measure of leakage of information. The main result allows us to compare the probability of an event happening when adaptivity is considered with respect to the non-adaptive scenario. The bound we derive represents a generalization of the bounds used in non-adaptive scenarios (e.g., McDiarmid's inequality for $c$-sensitive functions, false discovery error control via significance level, etc.), and allows us to replicate or even improve, in certain regimes, the results obtained using Max-Information or Differential Privacy. In contrast with the line of work started by Dwork et al., our results do not rely on Differential Privacy but are, in principle, applicable to every algorithm that has a bounded leakage, including the differentially private algorithms and the ones with a short description length.

연구 동기 및 목표

• 이전 결과에 기반해 가설을 반복적으로 개선하는 적응형 데이터 분석으로 인해 발생하는 잘못된 연구 결과의 위기를 해결한다.
• 사전에 정의된 비적응형 분석 절차를 가정하는传통적 통계 방법의 한계를 극복한다.
• 적응형 데이터 재사용 상황에서도 유효한 일반화 프레임워크를 개발하며, 차별적 프라이버시와 같은 제한적인 가정에 의존하지 않는다.
• 고전적 농도 불등식을 일반화하고 광범위한 학습 알고리즘에 적용 가능한 통합적인 정보 이론적 경계를 제공한다.
• 최대 유출이 기존의 최대 정보나 차별적 프라이버시와 비교해 더 민첩하고 분석 가능하다는 점을 보여준다.

제안 방법

• 학습 알고리즘을 조건부 분포로 모델링하고, 훈련 데이터 $X$ 에서 출력 $Y$ 로의 정보 유출을 측정하기 위해 최대 유출 $\mathcal{L}(X \to Y)$ 를 사용한다.
• 적응형 분석에서 사건 $E$ 의 확률에 대한 일반 경계를 유도한다: $\mathbb{P}(E) \leq \max_y \mathcal{P}_X(E_y) \cdot \exp(\mathcal{L}(X \to Y))$로, 이는 비적응형 경계를 일반화한다.
• 최대 유출의 구성 성질을 확립한다: $\mathcal{L}(X \to (A_1,\dots,A_n)) \leq \sum_{i=1}^n \mathcal{L}(X \to A_i | A_1,\dots,A_{i-1})$로, 순차적 분석 보장을 가능하게 한다.
• 최대 유출이 후처리에 대해 안정적이고 유한한 랜덤 변수에 대해 유계임을 증명하며, 차별적 프라이버시와 달리 무한이 될 수 있음을 보여준다.
• 최대 유출은 $\mathcal{L}(X \to Y) = \log \sum_y \max_{x: P(x)>0} P_{Y|X}(y|x)$ 를 통해 닫힌 형태로 계산될 수 있음을 보여주며, 실용적 분석을 가능하게 한다.
• 차별적 프라이버시 알고리즘은 $\mathcal{L}(X \to Y) \leq \epsilon n$ 을 만족함을 보여주며, 최대 유출이 차별적 프라이버시와 같은 보장을 캡처하지만 더 엄격하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 이전 결과에 기반해 가설이 선택되는 경우에도 유효한, 적응형 데이터 분석을 위한 일반화 경계를 도출할 수 있는가?
• RQ2 유연성, 타이트함, 계산 가능성 측면에서 최대 유출은 차별적 프라이버시와 최대 정보와 어떻게 비교되는가?
• RQ3 고전적 비적응형 불등식을 일반화하면서도, 최대 유출이 적응형 환경에서 사건의 확률을 경계하는 데 사용될 수 있는가?
• RQ4 학습 알고리즘이 순차적으로 적용될 때 최대 유출의 구성 성질은 무엇인가?
• RQ5 특히 프라이버시 제약이 너무 엄격한 경우, 최대 유출이 적응형 데이터 분석에서 일반화를 보장하기 위한 차별적 프라이버시의 타당한 대안이 될 수 있는가?

주요 결과

• 논문은 일반 경계 $\mathbb{P}(E) \leq \max_y \mathcal{P}_X(E_y) \cdot \exp(\mathcal{L}(X \to Y))$ 를 도출하였으며, 이는 McDiarmid의 부등식과 기타 비적응형 경계를 적응형 환경으로 일반화한다.
• 최대 유출은 차별적 프라이버시와 최대 정보보다 더 타이트하고 더 민감한 대안을 제공하며, 닫힌 형태의 계산과 더 나은 구성 성질을 갖는다.
• 저자들은 $\mathcal{L}(X \to Y) \leq \epsilon n$ 이 $\epsilon$-차별적 프라이버시 알고리즘을 만족함을 증명하며, 최대 유출가 차별적 프라이버시와 동일한 보장을 더 엄격하지 않게 캡처함을 보여준다.
• 최대 유출은 후처리에 대해 안정적이고 구성적으로 유계이므로, 적응형 쿼리의 시퀀스 분석에 적합하다.
• 이 프레임워크는 최대 유출가 유계인 모든 알고리즘에 적용 가능하며, 짧은 기술 길이를 가진 비프라이버시 알고리즘까지 포함하여, 프라이버시 보장 방법을 초월해 광범위하게 적용 가능하다.
• 최대 유출 경계는 최대 정보나 차별적 프라이버시가 사용되는 영역에서 기존 결과를 따라하거나 향상시키며, 특히 유출이 낮을 경우 두드러진다.