[논문 리뷰] Selective inference for the problem of regions via multiscale bootstrap

Yoshikazu Terada, Hidetoshi Shimodaira|arXiv (Cornell University)|2017. 11. 02.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 6

한 줄 요약

이 논문은 다변량 정규 모델에서 가설 검정을 위한 선택적 추론 방법을 제안하며, 매개수 공간 내 임의의 형상 영역—특히 계층적 군집화에 대해 중점을 둔다. 다중 척도 부트스트랩 샘플링과 부호 거리 및 평균 곡률을 이용한 기하 보정을 통해 선택 편향을 보정하는 점근적으로 두 번째 차수 정확도를 갖는 p-값을 생성하며, 반복 부트스트랩과 유사한 계산 효율성을 갖지만 더 낮은 비용으로 수행된다.

ABSTRACT

A general approach to selective inference is considered for hypothesis testing of the null hypothesis represented as an arbitrary shaped region in the parameter space of multivariate normal model. This approach is useful for hierarchical clustering where confidence levels of clusters are calculated only for those appeared in the dendrogram, thus subject to heavy selection bias. Our computation is based on a raw confidence measure, called bootstrap probability, which is easily obtained by counting how many times the same cluster appears in bootstrap replicates of the dendrogram. We adjust the bias of the bootstrap probability by utilizing the scaling-law in terms of geometric quantities of the region in the abstract parameter space, namely, signed distance and mean curvature. Although this idea has been used for non-selective inference of hierarchical clustering, its selective inference version has not been discussed in the literature. Our bias-corrected $p$-values are asymptotically second-order accurate in the large sample theory of smooth boundary surfaces of regions, and they are also justified for nonsmooth surfaces such as polyhedral cones. The $p$-values are asymptotically equivalent to those of the iterated bootstrap but with less computation.

연구 동기 및 목표

• 계층적 군집화를 통해 식별된 군집에 대한 빈도주의 추론에서 심각한 선택 편향 문제를 해결하기 위해.
• 다변량 정규 매개수 공간 내 임의의 형상 영역에 적용 가능한 일반적인 선택적 추론 프레임워크를 개발하기 위해.
• 이전에는 비선택적 추론에 사용된 다중 척도 부트스트랩 접근법을 선택적 추론 설정으로 확장하기 위해.
• 반복 부트스트랩과 유사한 점근적 정확도를 갖지만 더 낮은 계산 비용을 제공하는 계산 효율성이 높은 대안을 제공하기 위해.
• 고차원 매개수 공간 내 매끄럽고 매끄럽지 않은 영역(예: 다면체 콘) 모두에 대해 유효성을 확보하기 위해.

제안 방법

• 매개수 공간 내 영역의 기하 양상—부호 거리 및 평균 곡률—을 추정하기 위해 다중 척도 부트스트랩 샘플링을 사용한다.
• 기하 양상의 척도 법칙을 활용해 부트스트랩 확률(BP)에 편향 보정을 적용함으로써 선택적 추론을 위한 보정된 p-값을 도출한다.
• 경계가 매끄러운 조건 하에서 점근적으로 두 번째 차수 정확도를 갖는 p-값 $ p_{\text{SI},k}(H|S,y) $ 를 유도한다.
• 하위 불완전 감마 함수와 정규화 상수를 포함하는 적분을 통한 p-값 표현을 활용한다.
• 이중 부트스트랩 p-값과 이론적으로 동치임을 증명하지만, 계산 비용은 감소시킨다.
• 다변량 정규성 및 경계 함수의 리프시츠 연속성 가정 하에 방법을 검증한다.

실험 결과

연구 질문

• RQ1 선택 편향이 데이터 기반 군집 선택으로 인해 심각한 계층적 군집에서의 선택적 추론은 어떻게 일관되게 적용할 수 있는가?
• RQ2 다중 척도 부트스트랩 방법은 비선택적 추론 외에도 선택적 추론 설정에서 유효한 p-값을 제공하도록 적응시킬 수 있는가?
• RQ3 부호 거리 및 평균 곡률과 같은 기하 양상은 선택적 추론에서 부트스트랩 확률의 편향을 어떻게 보정하는가?
• RQ4 선택적 추론 설정에서 제안된 방법은 반복 부트스트랩에 비해 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ5 이 방법은 계층적 군집 문제에서 흔히 나타나는 다면체 콘과 같은 비매끄러운 경계에 대해 강건한가?

주요 결과

• 제안된 선택적 추론 p-값은 다변량 정규 모델에서 경계가 매끄러운 조건 하에 점근적으로 두 번째 차수 정확도를 갖는다.
• 표준 부트스트랩과 유사한 계산 효율성을 달성하며, 반복 부트스트랩보다 훨씬 낮은 비용을 지닌다. 이는 유사한 점근적 정확도를 유지한다.
• 편향 보정된 p-값은 하위 불완전 감마 함수 표현을 통해 이중 부트스트랩 p-값과 이론적으로 동치임을 입증한다.
• 매끄럽고 매끄럽지 않은 영역(예: 다면체 콘 포함) 모두에 대해 유효하여 실제 군집 문제에의 적용 가능성을 넓힌다.
• p-값을 $ I_k(\theta) $ 와 $ J_k(\theta) $ 를 포함하는 적분 형태로 표현함으로써 두 번째 차수 정확도 조건을 충족하는 이론적 근거를 제공한다.
• 표준 부트스트랩 확률(pvclust 등)에서 관찰되는 심각한 선택 편향을 보정함을 입증하였으며, 폐렴 데이터셋 예제에서 $ p_{\text{AU}} $ 와 $ p_{\text{SI}} $ 간의 큰 격리가 이를 뒷받침한다.