[논문 리뷰] The Limits of Post-Selection Generalization

Kobbi Nissim, Adam Smith외 3명|arXiv (Cornell University)|2018. 06. 15.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 10

한 줄 요약

이 논문은 적응적 데이터 분석에서 통계적 타당성을 보장하는 데 핵심적인 기제인 후행 일반화(post hoc generalization)에 대한 기본적인 한계를 규명한다. 후행 일반화를 만족하는 알고리즘에 대한 오차의 날카운 빈도 하한을 증명하고, 이 성질이 존재하는 알고리즘들 사이에서 강력한 경험적 합성 성질을 보이지만, 합성에 대해 닫혀 있지 않음을 보여준다.

ABSTRACT

While statistics and machine learning offers numerous methods for ensuring generalization, these methods often fail in the presence of adaptivity---the common practice in which the choice of analysis depends on previous interactions with the same dataset. A recent line of work has introduced powerful, general purpose algorithms that ensure post hoc generalization (also called robust or post-selection generalization), which says that, given the output of the algorithm, it is hard to find any statistic for which the data differs significantly from the population it came from. In this work we show several limitations on the power of algorithms satisfying post hoc generalization. First, we show a tight lower bound on the error of any algorithm that satisfies post hoc generalization and answers adaptively chosen statistical queries, showing a strong barrier to progress in post selection data analysis. Second, we show that post hoc generalization is not closed under composition, despite many examples of such algorithms exhibiting strong composition properties.

연구 동기 및 목표

• 적응적 데이터 분석 이후 강건한 통계적 추론을 위한 프레임워크인 후행 일반화를 보장하는 알고리즘의 내재적 한계를 규명하기 위해.
• 적응적으로 선택된 통계적 쿼리에 응답할 때 후행 일반화를 만족하는 어떤 알고리즘이라도 오차에 대해 날카운 하한을 설정하기 위해.
• 기존 알고리즘들이 강력한 경험적 합성 성질을 보이지만, 후행 일반화가 합성에 대해 닫혀 있는지 여부를 조사하기 위해.
• 기존의 일반 목적의 후선택 추론 알고리즘이 이러한 한계로 인해 본질적인 이론적 장벽을 겪고 있음을 보여주기 위해.

제안 방법

• 후행 일반화를 정식으로 정의하여, 알고리즘의 출력이 주어졌을 때 데이터에서의 경험적 평균이 인구 평균과 유의미하게 다를 수 없는 통계량이 존재하지 않도록 보장한다.
• 임의의 후행 일반화 알고리즘에 대한 오차 하한을 증명하기 위해 가짜난수생성기(PRG) 보안으로의 감소(reduction)를 사용한다.
• 후행 일반화 알고리즘이 오차 한계를 충족하지 못하면 PRG를 깨는 구분기(distinguisher)를 구성하며, 허프딩 부등식과 통계적 거리 한계를 활용한다.
• 계산적으로 강건한 일반화를 보장하는 알고리즘을 구성하기 위해 순열 기반 PRG 구조(PRG-Encrypermute)를 적용한다.
• PRG 구조에서 실제 분포와 균일 분포 간의 통계적 거리를 분석하여 쿼리 추정치의 이탈을 제한한다.
• 하이브리드 추론과 쌍용 기법(coupling techniques)을 사용하여 실제 입력과 균일 입력 하에서 알고리즘의 행동을 비교하며, 이격 확률이 거의 동일함을 보여준다.

실험 결과

연구 질문

• RQ1 적응적으로 선택된 통계적 쿼리에 응답할 때 후행 일반화를 만족하는 어떤 알고리즘이라도 오차에 대해 가능한 가장 날카운 하한은 무엇인가?
• RQ2 후행 일반화가 합성에 대해 닫혀 있는가? 즉, 두 개의 후행 일반화 알고리즘이 개별적으로 후행 일반화를 만족한다고 해서 그 합성도 여전히 일반화 보장을 유지하는가?
• RQ3 후행 일반화 알고리즘의 오차는 표본 크기와 신뢰도 파라미터의 비트리버스 함수로 아래에서 유계일 수 있는가?
• RQ4 실제로 강력한 합성 성질을 보이는 알려진 알고리즘이 실제로 이론적으로 형식적 합성성을 만족하는 정도는 어느 정도인가?
• RQ5 가짜난수생성기의 보안성을 활용하여 적응적 데이터 분석에서 일반화의 기본 한계를 규명할 수 있는가?

주요 결과

• 이 논문은 후행 일반화를 만족하는 어떤 알고리즘이라도 오차에 대해 날카운 하한을 설정한다: δ ≥ n⁻¹⁰⁰ 이고 ε = √(8 ln(16/δ)/n) 일 때, 이러한 알고리즘 중 어떤 것도 확률이 δ를 초과할 경우 오차를 ε 이하로 보장할 수 없다.
• 후행 일반화가 합성에 대해 닫혀 있지 않음을 증명한다. 즉, 두 알고리즘이 개별적으로 후행 일반화를 만족한다고 해도 그 합성 결과는 일반화 보장을 유지하지 못할 수 있다.
• 이 하한은 날카롭고, 기존 알고리즘인 PRG-Encrypermute의 오차율과 정확히 일치하므로, 최악의 경우에서의 향상은 불가능하다.
• 알고리즘의 출력과 데이터 샘플을 기반으로 한 구분기를 구성하면, 알고리즘이 오차 한계를 충족하지 못할 경우 모순이 발생한다. 이는 PRG 보안을 통해 하한을 증명하는 데에 활용된다.
• PRG 구조에서 실제 분포와 균일 분포 간의 통계적 거리는 k⁻ᵏ/⁸ 이하로 제한되며, 이는 알고리즘의 출력이 계산적으로 균일과 구분 불가능함을 보장하여 일반화 보장을 가능하게 한다.
• PRG가 균일한 문자열로 대체될 경우, 쿼리 추정치의 큰 이격 확률이 여전히 유계임을 보여주며, 이는 알고리즘이 제시된 오차 파rameters로 후행 일반화를 만족함을 증명한다.