[논문 리뷰] Information, Privacy and Stability in Adaptive Data Analysis

Adam Smith|arXiv (Cornell University)|2017. 06. 02.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 4

한 줄 요약

이 논문은 정보이론적 측도—특히 one-shot 상호정보량—과 적응적 데이터 분석에서의 강건한 일반화 사이의 기초적인 연결 고리를 수립한다. 정보 누출이 제한된 알고리즘, 예를 들어 미세한 차별적 기계와 압축 기법 등은 데이터를 여러 번 재사용하는 상황에서도 안정적인 통계적 추론을 보장하며, 일반화 오차에 대한 공식적인 보장을 제공한다.

ABSTRACT

Traditional statistical theory assumes that the analysis to be performed on a given data set is selected independently of the data themselves. This assumption breaks downs when data are re-used across analyses and the analysis to be performed at a given stage depends on the results of earlier stages. Such dependency can arise when the same data are used by several scientific studies, or when a single analysis consists of multiple stages. How can we draw statistically valid conclusions when data are re-used? This is the focus of a recent and active line of work. At a high level, these results show that limiting the information revealed by earlier stages of analysis controls the bias introduced in later stages by adaptivity. Here we review some known results in this area and highlight the role of information-theoretic concepts, notably several one-shot notions of mutual information.

연구 동기 및 목표

• 적응적 데이터 재사용으로 인한 통계적 위기 문제를 해결하기 위해, 기존의 추론 방법이 선택 편향으로 인해 실패하는 이유를 다룬다.
• 적응적 분석 환경에서 정보 누출과 일반화 오차 사이의 관계를 체계화한다.
• 특히 one-shot 상호정보량을 포함한 제한된 정보 측도가 통계적 추론의 강건성 보장에 기여함을 보여준다.
• 차별적 프라이버시, 압축 기법, 안정성 등 서로 다른 접근 방식을 공통의 정보이론적 프레임워크로 통합한다.
• 정보 누출이 제한된 알고리즘 클래스를 식별함으로써 원칙적인 사후 선택 가설 검정을 가능하게 한다.

제안 방법

• 분석 기계가 데이터에 대해 누출하는 정보를 측정하기 위해, 특히 $ I_{\beta}^{ ext{inf}}({\bf X}; M({\bf X})) $ 를 사용하여 one-shot 상호정보량 측도를 적용한다.
• 추정의 허용 오차를 제어하는 데 $ \beta $ 가 기여하는 $ \beta $-강건한 일반화 개념을 적용한다.
• 정리 14를 통해 차별적 프라이버시가 제한된 one-shot 정보를 유도함으로써 강건한 일반화를 이끌어낸다.
• 출력이 데이터의 소수의 부분집합(예: 지지벡터)인 압축 기법을 분석하여 $ L_{\infty}({\bf X}_{\text{in}}; {\bf X}_{\text{out}}) \leq \log_2 \binom{n}{k} $ 를 도출한다.
• 낮은 정보 누출은 과적합의 정도가 낮음을 의미하므로, 적응적 쿼리 이후에도 유효한 추론이 가능하다는 점을 활용한다.
• 두 단계 게임과 안정성 사이의 연결 고리로 '리프팅' 개념을 사용하여, 제한된 정보가 적응적 환경에서 안정성을 유도함을 보여준다.

실험 결과

연구 질문

• RQ1 동일한 데이터가 여러 적응적 분석에 사용될 경우 통계적 추론이 어떻게 유효하게 유지될 수 있는가?
• RQ2 one-shot 상호정보량으로 측정된 정보 누출은 적응적 데이터 분석에서 편향을 통제하는 데 어떤 역할을 하는가?
• RQ3 차별적 프라이버시, 압축 기반 등 특정 알고리즘 클래스는 정보 누출이 제한되어 있어 강건한 일반화를 내재적으로 만족하는가?
• RQ4 정보이론적 측도는 적응적 환경에서 차별적 프라이버시와 압축 기반 학습을 통합할 수 있는가?
• RQ5 적응적 데이터 재사용 조건 하에서 원칙적인 사후 선택 가설 검정은 어떻게 보장할 수 있는가?

주요 결과

• 매개변수 $ (\epsilon, \delta) $ 를 가진 차별적 프라이버시 기계는 $ \beta = O(n\sqrt{\delta/\epsilon}) $ 일 때 $ I_{\infty}^{\beta}({\bf X}; M({\bf X})) = O(\epsilon^2 n) $ 을 달성하며, 이는 강건한 일반화를 보장한다.
• n개의 점에서 k개의 점을 출력하는 압축 기법은 입력에 대해 최대 $ \log_2 \binom{n}{k} $ 비트의 정보를 누출하며, 이는 일반화 보장을 가능하게 한다.
• 이 프레임워크는 선형 쿼리에 대한 기존 결과를 복원하고 비선형 문제, 예를 들어 가설 검정으로까지 확장한다.
• 차별적 프라이버시 및 압축 기반 방법을 포함한 제한된 one-shot 정보 측도를 가진 알고리즘은 $ (O(\epsilon), O(n\sqrt{\delta/\epsilon})) $-강건한 일반화를 보인다.
• 정보이론적 프레임워크는 분석이 데이터에 과적합하지 않도록 보장함으로써 원칙적인 사후 선택 추론을 지원한다.
• 정보 누출과 일반화 오차 사이의 관계는 적응적 데이터 분석에서 안정성 이해를 위한 통합적 시각을 제공한다.