[논문 리뷰] Individualized Multi-directional Variable Selection

Xiwei Tang, Xue, Fei외 1명|arXiv (Cornell University)|2017. 09. 15.

Statistical Methods and Inference참고 문헌 44인용 수 7

한 줄 요약

이 논문은 종단적이고 이질적인 데이터 설정에서 예측 정확도와 추정 효율성을 향상시키기 위해 개인별로 관련 예측 변수를 식별하면서도 하위군 간의 유사한 공변량 효과를 동시에 수행하는 새로운 개인 맞춤형 다방향 변수 선택 방법을 제안한다. 다방향 수축 페널티를 도입함으로써 각 개인에 대해 고유한 관련 예측 변수를 식별하면서도 하위군 간의 강도를 빌려쓰며, 종단적이고 이질적인 데이터 환경에서 개선된 예측 정확도와 추정 효율성을 달성한다.

ABSTRACT

In this paper we propose a heterogeneous modeling framework which achieves individual-wise feature selection and individualized covariates' effects subgrouping simultaneously. In contrast to conventional model selection approaches, the new approach constructs a separation penalty with multi-directional shrinkages, which facilitates individualized modeling to distinguish strong signals from noisy ones and selects different relevant variables for different individuals. Meanwhile, the proposed model identifies subgroups among which individuals share similar covariates' effects, and thus improves individualized estimation efficiency and feature selection accuracy. Moreover, the proposed model also incorporates within-individual correlation for longitudinal data to gain extra efficiency. We provide a general theoretical foundation under a double-divergence modeling framework where the number of individuals and the number of individual-wise measurements can both diverge, which enables inference on both an individual level and a population level. In particular, we establish strong oracle property for the individualized estimator to ensure its optimal large sample property under various conditions. An efficient ADMM algorithm is developed for computational scalability. Simulation studies and applications to post-trauma mental disorder analysis with genetic variation and an HIV longitudinal treatment study are illustrated to compare the new approach to existing methods.

연구 동기 및 목표

• 기존의 집단 수준 모델이 개인별로 관련 예측 변수를 포착하지 못하고 이질적인 치료 효과를 반영하지 못하는 한계를 해결하기 위해.
• 개인별 변수 선택과 유사한 공변량 효과를 가진 하위군을 동시에 식별하는 방법을 개발하여 추정 효율성과 정확도를 향상시키기 위해.
• 종단적 데이터에서 개인 내 상관관계를 통합하여 독립 오차 가정을 초월한 모델 효율성을 향상시키기 위해.
• 개인 수와 개인 수준의 측정 수가 모두 증가하는 双발산 프레임워크 하에서 이론적 기반을 구축하기 위해.
• 진짜 하위집단 정보가 알려진 상황에서 최적의 대수적 성능을 보장하는 강력한 오라클 성질을 확보하기 위해.

제안 방법

• 다양한 방향으로 수축이 가능한 다방향 분리 페널티를 제안하여, 단지 영으로의 수축뿐만 아니라 강한 신호와 잡음의 탄력적인 식별을 가능하게 한다.
• 개인 수와 개인 수준의 측정 수가 모두 발산하는 이중 발산 점근적 프레임워크를 사용하여 개인 및 집단 수준의 추론을 지원한다.
• 종단적 데이터에서 개인 내 순차적 상관관계를 통합하여, i.i.d. 가정을 초월한 추정 효율성을 향상시킨다.
• 효율적인 계산을 위해 ADMM 알고리즘을 활용하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 공유된 회귀 계수 패턴을 기반으로 개인을 군집화하여 하위군을 식별하며, 페널티 구조를 통해 그룹 내 동질성을 유도한다.
• 개인 맞춤형 및 집단 공유 예측 변수를 통합된 모델에 통합하며, 향후 고차원 설정으로의 확장을 고려한다.

실험 결과

연구 질문

• RQ1 일관된 통계 프레임워크가 이질적인 공변량 효과를 바탕으로 하여 개인별 변수 선택과 하위군 식별을 동시에 수행할 수 있는가?
• RQ2 단지 영으로만 수축하는 기존의 볼록 페널티와 비교해 다방향 수축이 추정 정확도를 향상시키고 편향을 줄이는 데 어떻게 기여하는가?
• RQ3 개인 수준의 표본 크기가 증가하는 이중 발산 프레임워크 하에서 개인 맞춤 추정량의 대수적 행동은 어떻게 되는가?
• RQ4 종단적 데이터에서 개인 내 상관관계를 통합할 경우 추정 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ5 실제 생물의학 데이터에서 제안된 방법이 기존 방법보다 개인 맞춤 예측 및 하위군 탐지에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• PTSD 유전자 연구에서 MDSP 모델은 혼합 모델 대비 예측 RMSE를 15% 감소시키고, 동질성 모델 대비 32% 감소시켰다.
• MDSP 모델은 세 개의 CpG 사이트(cg03256465, cg03762702, cg06473843)를 각각 34.2%에서 40.4%의 표본을 차지하는 별개의 하위군에서 유의미한 비영 효과로 성공적으로 식별하였다.
• 반면 혼합 모델은 한 하위군에서 유일하게 하나의 유의미한 CpG 사이트(cg0647384)를 식별하여 하위군 구성이 덜 정보적인 것으로 나타났다.
• 제안된 방법은 강력한 오라클 성질을 확보하여 진짜 하위집단 정보가 알려진 경우 최적의 수렴 속도를 보임을 확인하였다.
• HIV 종단적 연구에서 제안된 방법은 이질적인 치료 효과 탐지에 뛰어난 성능을 보였으며, 모델 적합도 향상과 하위군의 해석 가능성 향상을 동시에 달성하였다.
• 이론적 결과는 표본 크기가 증가함에 따라 개인 맞춤 매개변수의 차원에 대한 최적의 발산 속도를 규명하여 고차원 설정에서의 확장 가능성을 뒷받침한다.