[논문 리뷰] Selective sampling after solving a convex problem

Xiaoying Tian Harris, Snigdha Panigrahi외 3명|arXiv (Cornell University)|2016. 09. 19.

Statistical Methods and Inference참고 문헌 16인용 수 21

한 줄 요약

이 논문은 볼록 통계학적 학습 문제를 해결한 후 선택적 추론을 위한 통합 프레임워크를 제안하며, 측도 변화 공식과 자코비안의 기하학적 분석을 통해 조건부 분포로부터의 타당한 샘플링을 가능하게 한다. 로그-볼록 목표 함수를 위한 투영된 랭게비언 샘플러를 도입하고, 그룹 LASSO와 같은 다각형이 아닌 페널티에 대해 명시적인 자코비안 계산을 제공함으로써 선택적 추론 방법의 검정력과 적용 범위를 크게 향상시킨다.

ABSTRACT

We consider the problem of selective inference after solving a (randomized) convex statistical learning program in the form of a penalized or constrained loss function. Our first main result is a change-of-measure formula that describes many conditional sampling problems of interest in selective inference. Our approach is model-agnostic in the sense that users may provide their own statistical model for inference, we simply provide the modification of each distribution in the model after the selection. Our second main result describes the geometric structure in the Jacobian appearing in the change of measure, drawing connections to curvature measures appearing in Weyl-Steiner volume-of-tubes formulae. This Jacobian is necessary for problems in which the convex penalty is not polyhedral, with the prototypical example being group LASSO or the nuclear norm. We derive explicit formulae for the Jacobian of the group LASSO. To illustrate the generality of our method, we consider many examples throughout, varying both the penalty or constraint in the statistical learning problem as well as the loss function, also considering selective inference after solving multiple statistical learning programs. Penalties considered include LASSO, forward stepwise, stagewise algorithms, marginal screening and generalized LASSO. Loss functions considered include squared-error, logistic, and log-det for covariance matrix estimation. Having described the appropriate distribution we wish to sample from through our first two results, we outline a framework for sampling using a projected Langevin sampler in the (commonly occuring) case that the distribution is log-concave.

연구 동기 및 목표

• 볼록 통계학적 학습 문제를 해결한 후 선택 편향을 보정할 수 있는 모델에 종속되지 않는 선택적 추론 방법을 개발한다.
• 볼록 최적화에서 선택 사건을 조건으로 하는 매개변수의 조건부 분포를 특성화하는 일반적인 측도 변화 공식을 유도한다.
• 특히 그룹 LASSO와 핵심 노름과 같은 다각형이 아닌 페널티에 대해, 측도 변화 공식의 자코비안의 기하학적 구조를 분석한다.
• 특히 목표 분포가 로그-볼록일 경우, 조건부 분포로부터 실용적인 샘플링을 가능하게 하는 투영된 랭게비언 샘플러를 구현한다.
• 선택적 추론의 적용 범위를 프로젝션, 전진 단계 선택, 마진 스크리닝, 다양한 손실 함수를 가진 일반화된 LASSO를 포함한 복잡한 고차원 모델로 확장한다.

제안 방법

• 선택 사건을 조건으로 하는 원래 모델 분포를 재가중하는 측도 변화 공식을 유도하여, 볼록 최적화 이후 정확한 추론을 가능하게 한다.
• 기하학적 및 곡률 기반 접근을 사용하여 측도 변화 공식의 전환 자코비안을 특성화하며, 이를 Weyl-Steiner 원통체 부피 이론과 연결한다.
• 그룹 LASSO의 경우 자코비안에 대한 명시적 공식을 제공하며, 활성 그룹의 구조와 페널티 매개변수를 포함한 행렬의 트레이스를 포함한다.
• 선택 사건의 제약 조건을 준수하는 투영된 랭게비언 샘플러를 개발하며, 기호 변수와 그룹 변수에 대해 체계적 사영을 포함한 업데이트를 수행한다.
• 부수적 매개변수의 충분통계량을 조건으로 설정하여 조건부 분포가 로그-볼록을 유지하고 MCMC에 적합하도록 보장한다.
• Tian & Taylor(2015)의 방식과 유사하게 랜덤화를 샘플링 프레임워크에 통합하여 검정력 향상과 선택 조건 하에서의 타당한 추론을 보장한다.

실험 결과

연구 질문

• RQ1 선택적 추론에서 볼록 최적화 절차의 결과를 조건으로 하는 모델 매개변수의 조건부 분포를 어떻게 공식적으로 특성화할 수 있는가?
• RQ2 그룹 LASSO나 핵심 노름 정규화와 같이 다각형이 아닌 페널티일 경우, 측도 변화 공식에서 자코비안의 역할은 무엇인가?
• RQ3 닫힌 형태로 표현되지 않는 조건부 분포로부터 효율적으로 샘플링하는 방법은 무엇인가?
• RQ4 비다각형 제약 조건에 대한 선택적 추론의 맥락에서 자코비안의 기하학적 및 곡률 기반 해석은 무엇인가?
• RQ5 목표 분포가 로그-볼록일 경우, 투영된 랭게비언 샘플러는 선택적 분포로부터 효과적으로 샘플링할 수 있으며, 그룹 및 비볼록 페널티에서 유도된 복잡한 제약 조건을 어떻게 처리하는가?

주요 결과

• 논문은 어떤 모델이나 페널티에 관계없이, 볼록 통계학적 학습 문제를 해결한 후 정확한 선택적 추론을 가능하게 하는 일반적인 측도 변화 공식을 도출한다.
• 그룹 LASSO와 같은 다각형이 아닌 페널티의 경우, 활성 그룹의 구조와 페널티 매개변수를 포함한 행렬 도함수를 사용하여 자코비안의 명시적 계산을 수행한다.
• 자코비안의 기하학적 구조는 Weyl-Steiner 원통체 부피 공식의 곡률 측도와 연결되어 전환의 이론적 기반을 제공한다.
• 목표 분포가 로그-볼록일 경우, 투영된 랭게비언 샘플러는 조건부 분포로부터의 샘플링에 효과적이며, 약한 조건 하에서도 수렴 보장을 갖는다.
• LASSO, 전진 단계 선택, 마진 스크리닝, 일반화된 LASSO 등 다양한 설정에서 방법의 유효성을 입증하였으며, 각각에 대해 명시적인 샘플링 알고리즘을 제공한다.
• 프레임워크는 랜덤화된 선택 절차를 지원하여 데이터 분할에 의존하지 않고도 선택적 추론의 검정력과 타당성을 향상시킨다.