[논문 리뷰] A necessary and sufficient stability notion for adaptive generalization

Katrina Ligett, Moshe Shenfeld|arXiv (Cornell University)|2019. 06. 03.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 4

한 줄 요약

이 논문은 유계 감도 선형 질의에서 적응적 일반화를 위한 필수적이고도 충분한 안정성 개념인 국소 통계적 안정성(LSS)을 도입한다. LSS는 계산의 출력이 데이터 요소에 대한 사후 분포에 미치는 영향을 수량화하여, 적응성, 후처리, 복합성에 대해 강건한 일반화를 보장한다. 또한, 차별적 프라이버시 및 기타 기존 안정성 개념들이 LSS를 함의함을 보여주며, LSS는 적응적 일반화를 위한 새로운 이론적 프레임워크를 제공한다.

ABSTRACT

We introduce a new notion of the stability of computations, which holds under post-processing and adaptive composition. We show that the notion is both necessary and sufficient to ensure generalization in the face of adaptivity, for any computations that respond to bounded-sensitivity linear queries while providing accuracy with respect to the data sample set. The stability notion is based on quantifying the effect of observing a computation's outputs on the posterior over the data sample elements. We show a separation between this stability notion and previously studied notion and observe that all differentially private algorithms also satisfy this notion.

연구 동기 및 목표

• 적응적 데이터 분석에서 안정성 개념을 완화시켜도 일반화를 보장할 수 있는 방법에 대한 열린 질문를 다룬다.
• 이전 개념들과 달리 후처리 및 적응적 복합성에 대해 강건한 안정성 개념을 정식화한다.
• 표본 정확도를 가정할 때, 유계 감도 선형 질의에 대해 안정성과 일반화 사이의 정확한 동치성을 수립한다.
• 해로운 계산 출력을 수량화하기 위해 사후 분포 이동 기반의 새로운 이론적 프레임워크를 제안한다.
• 기존 메커니즘(예: 차별적 프라이버시 알고리즘)이 새로운 안정성 조건을 만족함을 보여주며, 새로운 일반화 보장을 가능하게 한다.

제안 방법

• 데이터 요소에 대한 사전 분포를 정의하고, 계산의 출력 조건부로 사후 분포를 계산한다.
• 개별 데이터 요소에 대한 사전 분포와 사후 분포 간의 통계적 거리 측도로 국소 통계적 안정성(LSS)을 도입한다.
• 특정 데이터 요소의 사후 분포를 크게 변화시킬 가능성이 높은 출력을 생성할 확률에 대한 비율적 제약으로 LSS를 정식화한다.
• 정보 이론적 및 확률적 추론을 사용하여 LSS가 후처리 및 적응적 복합성 하에서도 유지됨을 증명한다.
• 직접 증명을 통해 기존 안정성 개념(예: 차별적 프라이버시, Max Information, 압축 스킴)이 LSS를 함의함을 수립한다.
• 분리 정리들을 사용하여 LSS가 Max Information보다 엄격히 약한 것을 보여주며, 이는 LSS의 최적성(optimality)을 입증한다.

실험 결과

연구 질문

• RQ1 유계 감도 선형 질의에서 적응적 데이터 분석에서 일반화를 보장하기 위해 필수적이고도 충분한 안정성 개념은 무엇인가?
• RQ2 제안된 국소 통계적 안정성(LSS) 개념은 차별적 프라이버시 및 Max Information과 같은 기존 안정성 개념과 어떻게 관련이 있는가?
• RQ3 LSS는 후처리 및 적응적 복합성 하에서도 유지되는가? 이는 일반화 보장에 어떤 영향을 미치는가?
• RQ4 Max Information보다 더 강력한 안정성 개념보다도 LSS를 만족하지만, 그보다 더 강력한 개념을 만족하지는 않는 메커니즘이 존재하는가? 이는 엄격한 계층 구조를 의미하는가?
• RQ5 자연스러운 데이터 샘플링 노이즈를 활용하여 LSS를 통해 더 날카운 일반화 상한을 도출할 수 있는가?

주요 결과

• 표본 정확도를 가정할 때, 국소 통계적 안정성(LSS)은 유계 감도 선형 질의에서 적응적 일반화를 위한 필수적이고도 충분한 조건이다.
• 논문은 LSS와 이전에 연구된 개념들 사이의 분리를 수립한다: LSS는 국소 최대 정보(LMI)보다 엄격히 약하고, LMI는 최대 정보(MI)보다 엄격히 약하다.
• 차별적 프라이버시, Max Information, 일반 안정성, 압축 스킴 등 모든 개념이 LSS를 함의함을 보여주며, 이는 이들의 일반화 성질을 통합하는 프레임워크를 제공한다.
• 한 개의 데이터 요소를 균일하게 샘플링하여 출력하는 메커니즘은 (11√(ln(2n/δ)/n), δ)-LSS이지만, (1, 1/(2n))-LMI는 아니며, 이는 LSS가 LMI보다 엄격히 약하다는 것을 보여준다.
• 샘플 세트의 파리티를 출력하는 메커니즘은 (ε,0)-LMI이지만, (1,1/5)-MI는 아니며, 이는 MI가 LMI보다 엄격히 강력하다는 것을 증명한다.
• LSS의 상한은 하한보다 한 번 더 많은 질의를 요구함을 보여주며, 이는 안정성-일반화 동치성의 거의 날카로운 근접성을 시사한다.