[논문 리뷰] Inferactive data analysis

Nan Bi, Jelena Markovic외 2명|arXiv (Cornell University)|2017. 07. 20.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 데이터 기반 모델 선택 이후에도 유효한 통계적 추론을 가능하게 하는 'inferactive data analysis' 프레임워크를 소개한다. 선택적 추론과 질의 및 데이터의 DAG-DAG 모델을 조합함으로써, 랜덤화된 선택적 추론을 통해 조건부 추론이 가능해지며, 이는 빈도주의적 보장을 제공한다—예를 들어 유효한 p-값과 신뢰구간을 보장한다. 이는 데이터 탐색 이후 후행적으로 모델이 선택된 경우에도 성립한다.

ABSTRACT

We describe inferactive data analysis, so-named to denote an interactive approach to data analysis with an emphasis on inference after data analysis. Our approach is a compromise between Tukey's exploratory (roughly speaking "model free") and confirmatory data analysis (roughly speaking classical and "model based"), also allowing for Bayesian data analysis. We view this approach as close in spirit to current practice of applied statisticians and data scientists while allowing frequentist guarantees for results to be reported in the scientific literature, or Bayesian results where the data scientist may choose the statistical model (and hence the prior) after some initial exploratory analysis. While this approach to data analysis does not cover every scenario, and every possible algorithm data scientists may use, we see this as a useful step in concrete providing tools (with frequentist statistical guarantees) for current data scientists. The basis of inference we use is selective inference [Lee et al., 2016, Fithian et al., 2014], in particular its randomized form [Tian and Taylor, 2015a]. The randomized framework, besides providing additional power and shorter confidence intervals, also provides explicit forms for relevant reference distributions (up to normalization) through the {\em selective sampler} of Tian et al. [2016]. The reference distributions are constructed from a particular conditional distribution formed from what we call a DAG-DAG -- a Data Analysis Generative DAG. As sampling conditional distributions in DAGs is generally complex, the selective sampler is crucial to any practical implementation of inferactive data analysis. Our principal goal is in reviewing the recent developments in selective inference as well as describing the general philosophy of selective inference.

연구 동기 및 목표

• 데이터 탐색 이후 가설이 설정될 경우 고전적 추론이 실패하는 '통계의 침묵의 스캔들' 문제를 해결하기 위해, 상호작용적인 데이터 분석 이후에도 유효한 추론을 가능하게 하는 원칙적인 프레임워크를 제공하는 것.
• 탐색적 데이터 분석과 공식적인 통계적 추론을 조화시키기 위해, 데이터 과학자가 관측된 데이터에 기반해 모델과 가설을 선택할 수 있도록 하되, 동시에 통계적 타당성을 유지하는 것.
• LASSO, 마진 스크리닝, 프론트워드 스텝바이스텝 선택과 같은 일반적인 데이터 과학 워크플로우를 지원하는 실용적이고 계산적으로 실행 가능한 추론 방법을 개발하는 것.
• LASSO 및 마진 스크리닝과 같은 복잡한 알고리즘을 포함한 다단계, 상호작용적인 데이터 분석으로의 선택적 추론을 확장하기 위해 질의 의존성과 선택 이벤트를 DAG-DAG 표현으로 모델링하는 것.
• 실제 데이터를 활용한 실증 분석을 통해 프레임워크의 유용성을 입증하고, 재현 가능성을 위해 오픈소스 구현을 제공하는 것.

제안 방법

• 선택적 추론의 랜덤화된 버전(Tian & Taylor, 2015a)을 사용하여, 데이터 기반 모델 선택 이후에도 유효한 기준 분포를 구성한다.
• 질의의 순서와 그 의존성을 모델링하기 위해 DAG-DAG(Data Analysis Generative Directed Acyclic Graph)를 도입하여, 선택 경로에 기반한 조건부 추론을 가능하게 한다.
• Tian 등(2016)의 선택적 샘플러를 사용하여 선택 이벤트 하에서의 조건부 분포를 생성함으로써, 복잡한 조건부 조건에도 불구하고 추론의 계산 가능성을 확보한다.
• 각 질의에 대해 선택 이벤트는 최적화 조건(예: LASSO의 활성 집합 및 부호)을 통해 정의되며, 재구성 맵와 자코비안 항을 사용하여 공동 조건부 밀도를 유도한다.
• 다단계 추론은 질의 간 선택 이벤트를 조합함으로써 지원되며, 최종 밀도는 데이터 밀도, 보조 변수에 대한 사전 분포, 자코비안 항의 곱에 비례한다.
• 고차원 회귀 문제를 다루기 위해 사전 선택 통계량의 점근적 정규성을 활용하고, 선택적 중심극한정리에 따라 추론을 수행한다.

실험 결과

연구 질문

• RQ1 통계 모델과 가설이 데이터를 관찰한 후 선택된 경우, 어떻게 유효한 통계적 추론을 수행할 수 있는가?
• RQ2 실제 데이터 과학 워크플로우에서 상호작용적, 데이터 기반의 모델 선택 이후에도 유효한 추론을 가능하게 하는 실용적이고 일반화 가능한 프레임워크는 무엇인가?
• RQ3 선택적 추론은 LASSO 및 마진 스크리닝과 같은 복잡한 알고리즘을 포함한 다단계, 순차적 질의로 어떻게 확장될 수 있는가?
• RQ4 랜덤화는 후행 선택 추론에서 통계적 검정력과 계산 가능성을 향상시키는 데 어떤 역할을 하는가?
• RQ5 DAG-DAG 표현은 질의와 선택 이벤트의 의존성 구조를 효과적으로 모델링하여 확장 가능하고 해석 가능한 추론을 가능하게 하는가?

주요 결과

• Inferactive data analysis 프레임워크는 실제 HIV 데이터셋에 대해 두 단계 질의(마진 스크리닝 → LASSO)를 수행한 후에도 유효한 p-값과 신뢰구간을 성공적으로 제공하였다.
• LASSO 기반 분석을 통해, 비랜덤화된 대비로 랜덤화된 선택적 추론이 통계적 검정력을 향상시키고 신뢰구간을 단축시키는 것으로 확인되었다.
• 선택적 샘플러를 통해 복잡한 조건부 분포에서의 효율적 샘플링이 가능해져, 프레임워크의 실용적 사용을 위한 계산 가능성이 확보되었다.
• DAG-DAG 모델은 순차적 질의의 의존성 구조를 효과적으로 포착하여, 다중 데이터 분석 단계에 걸쳐 모듈러하고 확장 가능한 추론을 가능하게 하였다.
• 선택 이벤트를 최적화 조건으로 표현함으로써, LASSO, 그룹 LASSO, 프론트워드 스텝바이스텝, 그리고 그 조합을 포함한 다양한 알고리즘을 지원하는 데 성공하였다.
• 구현 코드는 GitHub에 공개되어 있어 재현성과 데이터 과학 커뮤니티의 도입을 촉진하고 있다.