[논문 리뷰] Strong Sure Screening of Ultra-high Dimensional Categorical Data

Randall Reese, Xiaotian Dai외 1명|arXiv (Cornell University)|2018. 01. 10.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 조건부 카이제곱 검정을 사용하여 초고차원 이산형 데이터를 위한 새로운 특징 필터링 방법을 제안하며, 정규성 조건 하에서 강한 확실한 필터링 성질을 확립한다. 표본 크기가 증가함에 따라 진정으로 중요한 예측변수들을 확률이 1에 수렴하는 방식으로 일관되게 식별하며, 기존 방법들보다 고차원 이산 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Feature screening for ultra high dimensional feature spaces plays a critical role in the analysis of data sets whose predictors exponentially exceed the number of observations. Such data sets are becoming increasingly prevalent in areas such as bioinformatics, medical imaging, and social network analysis. Frequently, these data sets have both categorical response and categorical covariates, yet extant feature screening literature rarely considers such data types. We propose a new screening procedure rooted in the Cochran-Armitage trend test. Our method is specifically applicable for data where both the response and predictors are categorical. Under a set of reasonable conditions, we demonstrate that our screening procedure has the strong sure screening property, which extends the seminal results of Fan and Lv. A series of four simulations are used to investigate the performance of our method relative to three other screening methods. We also apply a two-stage iterative approach to a real data example by first employing our proposed method, and then further screening a subset of selected covariates using lasso, adaptive-lasso and elastic net regularization.

연구 동기 및 목표

• 이산형 반응변수와 이산형 예측변수를 모두 포함한 초고차원 데이터에 대해 효과적인 특징 필터링 방법의 부족을 해결한다.
• 기존 필터링 방법들이 연속형 예측변수를 가정하거나 파라미터 모델에 의존하는 한계를 극복한다.
• 초고차원 설정에서 이산형 데이터에 특화된 모델 자유형 비모수적 필터링 절차를 개발한다.
• 최소한의 가정 하에 제안된 방법의 이론적 보장을 확립한다. 특히 강한 확실한 필터링 성질을 포함한다.
• 이중 단계 반복적 접근과 정규화를 활용한 시뮬레이션 및 실데이터 응용을 통해 방법의 실용적 유용성을 입증한다.

제안 방법

• 각 이산형 예측변수와 이산형 반응변수 간의 연관성을 평가하기 위해 코흐란-아르미타지 추세 검정을 기반으로 한 필터링 통계량을 제안한다.
• 예측변수 $X_j$와 반응변수 $Y$ 간의 연관성 강도를 측정하는 순위 기반 상관계수 추정량 $\hat{\varrho}_j$를 정의하며, 미약한 정규성 조건 하에서도 일관성을 확보한다.
• 중요 변수 선택을 위해 임계값 규칙 $\widehat{\mathcal{S}} = \{j : \hat{\varrho}_j \geq c\}$ 를 사용하며, $c = (2/3)\varrho_{\min}$ 로 설정한다.
• 진정한 순위 상관계수 $\varrho_j$ 에 대한 $\hat{\varrho}_j$ 의 균일 일관성을 확립함으로써, 모든 $p$개의 예측변수에 대해 신뢰할 수 있는 변수 선택이 가능하다.
• 이중 단계 반복 프레임워크를 적용한다: 먼저 제안된 방법을 사용해 차원을 감소시키고, 이후 Lasso, 적응형 Lasso 또는 엘라스틱넷을 적용해 선택된 집합을 정밀화한다.
• 이론적 분석은 중심법칙의 약한 형태와 균일 수렴성을 기반으로 하며, 선택된 집합 $\widehat{\mathcal{S}}$ 가 점점 더 큰 확률로 모든 진짜 신호를 포함하게 됨을 증명한다.

실험 결과

연구 질문

• RQ1 예측변수와 반응변수가 모두 이산형인 초고차원 이산형 데이터에 대해 비모수적이고 모델 자유형 필터링 방법을 개발할 수 있는가?
• RQ2 제안된 방법이 강한 확실한 필터링 성질을 달성하는가? 즉, 진정으로 중요한 변수들이 확률이 1에 수렴하는 방식으로 모두 선택되는가?
• RQ3 유한 표본에서 코흐란-아르미타지 기반 필터링 방법이 기존 방법들인 HLW-SIS(피어슨 카이제곱) 및 DC-SIS(거리 상관계수)와 비교해 성능가능성이 있는가?
• RQ4 이중 단계 프레임워크에서 정규화 기법과 효과적으로 조합하여 변수 선택 정확도를 향상시킬 수 있는가?
• RQ5 제안된 필터링 통계량이 이산형 변수 간 진짜 연관성 강도를 일관되게 추정할 수 있는 이론적 조건은 무엇인가?

주요 결과

• 제안된 방법은 강한 확실한 필터링 성질을 달성한다: 정규성 조건 하에서 $n \to \infty$ 일 때 $\mathbb{P}(\mathcal{S}_T = \widehat{\mathcal{S}}) \to 1$ 이다.
• 순위 상관계수 추정량 $\hat{\varrho}_j$ 는 $\varrho_j$ 에 대해 균일 일관성이 있으며, 모든 $p$개의 예측변수에 걸쳐 신뢰할 수 있는 변수 선택을 보장한다.
• 시뮬레이션 연구 결과, 다양한 이산형 데이터 구성에서 진짜로 중요한 예측변수를 선택하는 데 있어 HLW-SIS 및 기타 필터링 방법보다 본 방법이 뛰어난 성능을 보였다.
• 실데이터 응용에서 이중 단계 접근(먼저 제안된 방법을 사용하고, 그 다음 Lasso 또는 적응형 Lasso를 적용)이 선택 정확도와 안정성을 향상시켰다.
• 이론적 분석을 통해 필터링 임계값 $c = (2/3)\varrho_{\min}$ 가 모든 진짜 신호의 점차적 포함과 모든 잡음 변수의 배제를 보장함을 확인하였다.
• 이 방법은 모형 잘못 설정에 대해 강건하며, 예측변수나 반응변수의 진정한 분포에 대한 가정이 필요 없어 고차원 이산형 데이터에 적합하다.