[논문 리뷰] Exact Post-Selection Inference for Changepoint Detection and Other Generalized Lasso Problems

Sangwon Hyun, Max G’Sell외 1명|arXiv (Cornell University)|2016. 06. 11.

Statistical Methods and Inference참고 문헌 31인용 수 7

한 줄 요약

이 논문은 일반화 라소 경로의 순차적 특성과 선택적 추론 분야의 최근 발전을 활용하여, 변화점 탐지 및 기타 일반화 라소 문제에 대해 정확한 사후 선택 추론 방법을 개발한다. 이는 일반화 라소 경로의 어떤 모델 선택 이벤트를 조건으로 하여도 평균 벡터의 선형 대비에 대해 유효한 가설 검정과 신뢰구간을 가능하게 하며, 절단 정규분포(TG) 검정을 사용할 경우 귀무가설 하에서 정확한 p-값이 균일하게 분포함을 보장한다.

ABSTRACT

We study tools for inference conditioned on model selection events that are defined by the generalized lasso regularization path. The generalized lasso estimate is given by the solution of a penalized least squares regression problem, where the penalty is the l1 norm of a matrix D times the coefficient vector. The generalized lasso path collects these estimates for a range of penalty parameter (λ) values. Leveraging a sequential characterization of this path from Tibshirani & Taylor (2011), and recent advances in post-selection inference from Lee et al. (2016), Tibshirani et al. (2016), we develop exact hypothesis tests and confidence intervals for linear contrasts of the underlying mean vector, conditioned on any model selection event along the generalized lasso path (assuming Gaussian errors in the observations). By inspecting specific choices of D, we obtain post-selection tests and confidence intervals for specific cases of generalized lasso estimates, such as the fused lasso, trend filtering, and the graph fused lasso. In the fused lasso case, the underlying coordinates of the mean are assigned a linear ordering, and our framework allows us to test selectively chosen breakpoints or changepoints in these mean coordinates. This is an interesting and well-studied problem with broad applications, our framework applied to the trend filtering and graph fused lasso serves several applications as well. Aside from the development of selective inference tools, we describe several practical aspects of our methods such as valid post-processing of generalized estimates before performing inference in order to improve power, and problem-specific visualization aids that may be given to the data analyst for he/she to choose linear contrasts to be tested. Many examples, both from simulated and real data sources, are presented to examine the empirical properties of our inference methods.

연구 동기 및 목표

• 일반화 라소 문제, 특히 변화점 탐지에서 모델 선택 이후에 유효한 추론 도구가 부족한 문제를 해결하기 위해.
• 일반화 라소 경로의 다양한 선택 이벤트에 대해 데이터에 의존하는 성격을 고려한 정확한 가설 검정과 신뢰구간을 개발하기 위해.
• 일반화 라소를 기반으로 한 통합 프레임워크를 사용하여 융합 라소, 추세 필터링, 그래프 융합 라소 등으로 사후 선택 추론을 확장하기 위해.
• 추론 이전에 일반화 라소 추정치를 사후 처리하여 통계적 검정력을 향상시키기 위해.
• 데이터 분석가가 의미 있는 선형 대비를 선택할 수 있도록 도와주는 시각화 도구와 대비 선택 가이드라인을 제공하기 위해.

제안 방법

• Tibshirani & Taylor (2011)의 일반화 라소 경로의 순차적 특성을 활용하여, 벌점 매개변수 λ가 감소함에 따라 해가 어떻게 변화하는지 모델링한다.
• 최근의 사후 선택 추론 기법(Lee et al., 2016; Tibshirani et al., 2016)을 적용하여 모델 선택 이후 정확한 조건부 추론을 수립한다.
• 선택 이벤트를 조건으로 하여 특정 변화점이 탐지되었음을 반영하는 절단 정규분포(TG) 검정 통계량을 유도한다.
• 효율적 설계 행렬 $X_{\beta}$ 와 융합 라소 해의 차이의 부호를 사용하여 세그먼트 검정 대비를 정의함으로써 관측된 선택 패tern과 일치시킨다.
• 세그먼트 검정 대비 $v_{\text{seg}}$ 가 정규화를 제외한 한 우도비검정 대비 $v_{\text{lik}}$ 와 수학적으로 동일함을 증명하여, 세그먼트 등가성 검정에 대한 그 사용의 타당성을 입증한다.
• 선택 편향을 추론 과정에서 완전히 반영하면서도 검정력 향상을 위해 일반화 라소 추정치의 사후 처리를 구현한다.

실험 결과

연구 질문

• RQ1 융합 라소 경로를 사용하여 변화점 탐지 문제에 대해 정확한 사후 선택 추론을 구성할 수 있는가?
• RQ2 융합 라소에서 변화점의 데이터에 의존하는 선택을 고려한 유효한 가설 검정은 어떻게 개발할 수 있는가?
• RQ3 사후 선택 추론의 맥락에서 세그먼트 검정 대비와 우도비검정 대비 간의 관계는 무엇인가?
• RQ4 일반화 라소 추정치의 사후 처리는 선택적 추론의 조건부 추론 프레임워크를 손상시키지 않으면서도 통계적 검정력을 어떻게 향상시킬 수 있는가?
• RQ5 모델 선택 이후 의미 있는 선형 대비를 선택하는 데 도움이 되는 시각화 도구와 대비 선택 가이드라인은 무엇을 제공할 수 있는가?

주요 결과

• 제안된 절단 정규분포(TG) 검정은 선택된 모델 조건 하에서 귀무가설 하에 정확히 균일하게 분포하는 p-값을 생성하여 유효한 추론을 보장한다.
• 진짜 변화점이 위치 50에 있고, 가짜 변화점이 위치 11에 있는 시뮬레이션 예제에서, 난이도 높은 Z-검정은 둘 다 귀무가설을 기각했지만, TG 검정은 가짜 위치에서 정확히 기각하지 않았다.
• TG 검정은 진짜 변화점인 위치 50에서 작은 p-값(0.000)을 기록했고, 가짜 양성 결과인 위치 11에서는 p-값이 0.359로 증가하여 잘못된 오류율 제어가 올바르게 이루어졌음을 보여주었다.
• 세그먼트 검정 대비 $v_{\text{seg}}$ 는 정규화를 제외한 한 우도비검정 대비 $v_{\text{lik}}$ 와 수학적으로 동일하므로, 세그먼트 등가성 검정에 대한 그 사용이 타당하다고 입증된다.
• 이 방법은 융합 라소를 넘어서 추세 필터링 및 그래프 융합 라소를 포함한 다양한 일반화 라소 문제로 일반화되어, 다양한 구조적 추정 설정에서 선택적 추론을 가능하게 한다.
• 시뮬레이션 및 실제 데이터 예제를 통해 일반화 라소 추정치의 사후 처리가 검정력 향상을 가져오면서도 조건부 추론 프레임워크의 유효성을 유지함을 입증하였다.