[논문 리뷰] Challenges in Bayesian Adaptive Data Analysis

Sam Elder|arXiv (Cornell University)|2016. 04. 08.

Machine Learning and Algorithms참고 문헌 13인용 수 5

한 줄 요약

이 논문은 이전의 빈도주의 모델이 강력하고 비현실적인 정보 비대칭에 의존하는 한계를 극복하기 위해 적응형 데이터 분석을 위한 베이지안 프레임워크를 제안한다. 공개 사전확률을 통해 대칭성을 강제함으로써, 약간 상관관계가 있는 질의로부터 기존의 왜곡 기법들이 회피하는 새로운 유형의 도전 과제를 드러내며, 심지어 고도로 발전된 방법이라도 표본 복잡도 $ n \sim \sqrt[4]{q} $ 가 필요하다는 것을 입증함으로써, 이전의 하한값을 초월한 이전에 숨겨져 있던 장벽을 드러낸다.

ABSTRACT

Traditional statistical analysis requires that the analysis process and data are independent. By contrast, the new field of adaptive data analysis hopes to understand and provide algorithms and accuracy guarantees for research as it is commonly performed in practice, as an iterative process of interacting repeatedly with the same data set, such as repeated tests against a holdout set. Previous work has defined a model with a rather strong lower bound on sample complexity in terms of the number of queries, $n\sim\sqrt q$, arguing that adaptive data analysis is much harder than static data analysis, where $n\sim\log q$ is possible. Instead, we argue that those strong lower bounds point to a limitation of the previous model in that it must consider wildly asymmetric scenarios which do not hold in typical applications. To better understand other difficulties of adaptivity, we propose a new Bayesian version of the problem that mandates symmetry. Since the other lower bound techniques are ruled out, we can more effectively see difficulties that might otherwise be overshadowed. As a first contribution to this model, we produce a new problem using error-correcting codes on which a large family of methods, including all previously proposed algorithms, require roughly $n\sim\sqrt[4]q$. These early results illustrate new difficulties in adaptive data analysis regarding slightly correlated queries on problems with concentrated uncertainty.

연구 동기 및 목표

• 비현실적인 정보 비대칭에 의존하는 이전의 적응형 데이터 분석 모델의 한계를 해결하기 위해.
• 기존의 하한값 기법을 비대칭성에 기반해 제거하는 대칭적인 베이지안 공식화를 개발하기 위해.
• 정보 비대칭이 제거된 상황에서도 지속되는 적응형 데이터 분석의 새로운 과제를 규명하기 위해.
• 소음 주입 및 반올림과 같은 표준 왜곡 기법들이 베이지안 환경에서 여전히 효과가 있는지 평가하기 위해.
• 모든 알려진 커레이터 알고리즘이 최적의 표본 복잡도를 달성하지 못하는 새로운 문제 사례를 입증하기 위해.

제안 방법

• 정보 비대칭을 제거하기 위해 공개적이고 정확한 사전확률을 사용하는 베이지안 설정에서 적응형 데이터 분석을 공식화함으로써 대칭성을 강제한다.
• 빈도주의 방법에서의 경험적 평균을 중심 추정량으로 후행 평균으로 대체한다.
• 한 방향으로 높은 불확실성을 가진 오류 수정 부호 기반의 학습 문제를 구성하여 도전적인 질의 환경을 조성한다.
• 거의 직교적인 측정을 사용하여, 소음, 반올림 또는 프oxy 메커니즘에 의해 왜곡된 상태에서도 미세한 영향으로부터 정보를 추출한다.
• 이전에 제안된 모든 커레이터 알고리즘의 성능을 이 베이지안 맥락에서 분석하며, 최적의 표본 복잡도를 달성하지 못하는 실패를 집중적으로 고려한다.
• 정보 비대칭과 무관하게 약간 상관관계가 있는 질의로부터 새로운 유형의 누출을 드러내는 새로운 문제 사례를 도입한다.

실험 결과

연구 질문

• RQ1 대칭적인 베이지안 공식화를 통해 이전의 빈도주의 모델에서 유도된 강력한 하한값을 회피할 수 있는가?
• RQ2 정보 비대칭이 제거된 상황에서 적응형 데이터 분석에서 나타나는 새로운 과제는 무엇인가?
• RQ3 소음 추가 및 반올림과 같은 표준 왜곡 기법들이 베이지안 환경에서 여전히 효과가 있는가?
• RQ4 정보 비대칭과 무관하게 적응형 데이터 분석에서 최적의 표본 복잡도를 달성하는 데 근본적인 장벽이 존재하는가?
• RQ5 상관관계가 있는 질의는 소음이나 반올림에 의해 왜곡된 상태에서도 여전히 정보를 누출시킬 수 있는가, 만약 그렇다면 어떻게?

주요 결과

• 베이지안 모델은 정보 비대칭에 기반한 주요 하한값 기법을 성공적으로 배제하여 다른 과제에 대한 분석을 더욱 명확히 한다.
• 집중된 불확실성이 있는 오류 수정 부호 기반의 새로운 문제 사례는 이전에 숨겨져 있던 적응형 데이터 분석의 어려움을 드러낸다.
• 이전에 제안된 모든 커레이터 알고리즘은 이 새로운 문제에서 실패하며, 표본 복잡도 $ n \sim \sqrt[4]{q} $ 가 필요하다. 이는 정적 경우에 비해 상당히 열악한 수준이다.
• 약간 상관관계가 있는 질의는 소음, 반올림, 프oxy 메커니즘을 포함한 표준 왜곡 기법들조차도 정보를 누출시킬 수 있다.
• 이 맥락에서 표준 왜곡 방법의 실패는 이전 하한값에 의해 포괄되지 않는 새로운 유형의 제약을 드러낸다.
• 결과적으로 적응형 데이터 분석은 여전히 도전적인 과제이지만, 새로운 장벽이 질의 수에 대해 다항식이 아닌 다항로그 수준임을 감안할 때, 이전에 우려되었던 것만큼 핵심적인 과제가 심각하지 않을 수 있음을 시사한다.