[논문 리뷰] Nonregular and Minimax Estimation of Individualized Thresholds in High Dimension with Binary Responses

Huijie Feng, Yang Ning외 1명|arXiv (Cornell University)|2019. 05. 26.

Statistical Methods and Inference참고 문헌 37인용 수 4

한 줄 요약

이 논문은 이元응답 모델에서 개인화된 선형 임계값의 고차원 추정을 위한 정규화된 스무딩 손실 방법을 제안하며, 비규칙성과 계산의 비가역성 문제를 다룬다. 비표준적인 $(s\log d/n)^{\beta/(2\beta+1)}$ 오차율을 확립하였으며, 이는 로그 인자까지의 최소최대 최적성으로 증명되었고, 적응형 Lepski의 방법과 경로 추적 알고리즘을 통해 기하급수적 수렴을 보장한다.

ABSTRACT

Given a large number of covariates $Z$, we consider the estimation of a high-dimensional parameter $θ$ in an individualized linear threshold $θ^T Z$ for a continuous variable $X$, which minimizes the disagreement between $ ext{sign}(X-θ^TZ)$ and a binary response $Y$. While the problem can be formulated into the M-estimation framework, minimizing the corresponding empirical risk function is computationally intractable due to discontinuity of the sign function. Moreover, estimating $θ$ even in the fixed-dimensional setting is known as a nonregular problem leading to nonstandard asymptotic theory. To tackle the computational and theoretical challenges in the estimation of the high-dimensional parameter $θ$, we propose an empirical risk minimization approach based on a regularized smoothed loss function. The statistical and computational trade-off of the algorithm is investigated. Statistically, we show that the finite sample error bound for estimating $θ$ in $\ell_2$ norm is $(s\log d/n)^{β/(2β+1)}$, where $d$ is the dimension of $θ$, $s$ is the sparsity level, $n$ is the sample size and $β$ is the smoothness of the conditional density of $X$ given the response $Y$ and the covariates $Z$. The convergence rate is nonstandard and slower than that in the classical Lasso problems. Furthermore, we prove that the resulting estimator is minimax rate optimal up to a logarithmic factor. The Lepski's method is developed to achieve the adaption to the unknown sparsity $s$ and smoothness $β$. Computationally, an efficient path-following algorithm is proposed to compute the solution path. We show that this algorithm achieves geometric rate of convergence for computing the whole path. Finally, we evaluate the finite sample performance of the proposed estimator in simulation studies and a real data analysis.

연구 동기 및 목표

• 이원응답 모델에서 개인화된 임계값의 고차원 추정에서 발생하는 계산의 비가역성과 비규칙적인 점근적 행동 문제를 해결하기 위해.
• 선형 임계값 모델 $\bm{\theta}^T\bm{Z}$ 내에서 고차원 파라미터 $\bm{\theta}$를 통계적으로 최적이고 계산적으로 효율적인 방법으로 추정하기 위해.
• 알 수 없는 희박성 $s$와 부드러움 정도 $\beta$ 하에서 추정기의 유한표본 오차 경계와 최소최대 최적성을 확립하기 위해.
• Lepski의 방법을 통해 $s$와 $\beta$를 알지 못하는 상황에서도 적응 가능하게 하고, 계산에서 기하급수적 수렴을 보장하기 위해.

제안 방법

• 이산적인 부호 함수를 사용하는 경험적 위험 최소화 문제로 임계값 추정을 설정한다.
• 비가역적 부호 함수를 대체하기 위해 정규화된 스무딩 손실 함수를 도입하여 최적화의 가능성을 보장한다.
• 스무딩 대역폭 $\delta \to 0$일 때 피셔 일致성을 확립하여, 방법이 진짜 위험 최소화자로 수렴함을 보장한다.
• 조건부 밀도의 부드러움 정도 $\beta$ 하에서 $\ell_2$ 오차 경계 $(s\log d/n)^{\beta/(2\beta+1)}$를 유도한다.
• Lepski의 방법을 적용하여 $s$와 $\beta$의 사전 지식이 없더라도 조정 파rameter를 적응적으로 선택한다.
• 전체 해 경로를 효율적으로 계산하기 위해 기하급수적 수렴 속도를 보장하는 경로 추적 알고리즘을 개발한다.

실험 결과

연구 질문

• RQ1 비규칙성 하에서 이원응답 모델의 고차원 임계값 추정에 대해 계산적으로 실현 가능하고 통계적으로 최적인 방법을 개발할 수 있는가?
• RQ2 알 수 없는 부드러움 정도 $\beta$와 희박성 $s$ 하에서 $\bm{\theta}$의 $\ell_2$ 노름에서 최적의 수렴 속도는 무엇인가?
• RQ3 고차원 임계값 추정에서 알 수 없는 $s$와 $\beta$에 대해 어떻게 적응할 수 있는가?
• RQ4 비볼록적이며 비스무딩된 경험적 위험 최소화 문제를 정규화된 스무딩 손실 접근법으로 효과적으로 해결할 수 있는가?
• RQ5 제안된 방법은 고차원적이고 비규칙적인 설정에서 로그 인자까지의 최소최대 최적성을 달성하는가?

주요 결과

• 제안된 추정기는 $(s\log d/n)^{\beta/(2\beta+1)}$의 $\ell_2$ 오차 경계를 달성하며, 이는 비표준적이며 기존 Lasso 속도보다 느리다.
• 수렴 속도는 로그 인자까지 최소최대 최적성으로 증명되어 방법의 이론적 최적성을 입증한다.
• Lepski의 방법을 통해 사전 지식 없이도 희박성 $s$와 부드러움 정도 $\beta$에 대해 적응 가능함을 보장한다.
• 경로 추적 알고리즘은 기하급수적 수렴 속도를 확보하여 전체 해 경로의 효율적 계산을 보장한다.
• ChAMP 임상시험의 시뮬레이션 연구와 실제 데이터 분석을 통해 방법의 유한표본 성능과 다양한 변수 선택 패tern에 대한 강건성을 확인하였다.
• 변수 선택에서 SVM과 로지스틱 회귀 분석과 같은 대안보다 성능이 뛰어나며, KSymp_3mo와 SF36Soc_6mo와 같은 임상적으로 관련 있는 변수들이 일관되게 음수 계수로 선택된다.