[논문 리뷰] Reduced-rank Regression in Sparse Multivariate Varying-Coefficient Models with High-dimensional Covariates

Heng Lian, Shujie Ma|arXiv (Cornell University)|2013. 09. 24.

Statistical Methods and Inference참고 문헌 22인용 수 8

한 줄 요약

이 논문은 다변량 변형계수 모형에 대해 고차원적 공변량을 가진 경우에 적은 질량 회귀 방법을 제안한다. 다항스플린 근사, 오목 그룹 페널티, 질량 제약 조건을 조합하여 동시에 변수 선택과 질량 감소를 수행한다. 이 방법은 점근적 오라클 성질을 달성하며, 비선형 상호작용을 포함한 고차원 유전체 데이터에서 효율적인 추정이 가능하다.

ABSTRACT

In genetic studies, not only can the number of predictors obtained from microarray measurements be extremely large, there can also be multiple response variables. Motivated by such a situation, we consider semiparametric dimension reduction methods in sparse multivariate regression models. Previous studies on joint variable and rank selection have focused on parametric models while here we consider the more challenging varying-coefficient models which make the investigation on nonlinear interactions of variables possible. Spline approximation, rank constraints and concave group penalties are utilized for model estimation. Asymptotic oracle properties of the estimators are presented. We also propose reduced-rank independent screening to deal with the situation when the dimension is so high that penalized estimation cannot be efficiently applied. In simulations, we show the advantages of simultaneously performing variable and rank selection. A real data set is analyzed to illustrate the good prediction performance when incorporating interactions between genetic variables and an index variable.

연구 동기 및 목표

• 예측변수(예: SNP)와 반응변수(예: 형질)의 수가 모두 많은 유전학적 연구에서 고차원 다변량 회귀의 과제를 다루기 위해.
• 유전적 변수와 색인 변수(예: 신체 활동 수준) 간의 비선형 상호작용을 모델링하기 위해 매개수치 모형의 한계를 극복하기 위해 변형계수 구조를 통합한다.
• 모델의 단순성과 예측 정확도를 향상시키기 위해 동시에 변수 선택과 질량 감소를 수행한다.
• 벌여진 추정이 계산적으로 불가능해지는 초고차원 공변량을 다루기 위해 감소 질량 독립 스크리닝 절차를 개발한다.

제안 방법

• 변형계수 모형에서 비모수적 계수 함수를 모델링하기 위해 다항스플린 근사를 사용한다.
• 오목 그룹 페널티(예: SCAD 또는 MCP)를 적용하여 스플라인 계수의 전체 블록을 0으로 수축시켜 공동 변수 선택을 가능하게 한다.
• 계수 행렬에 명시적 행렬 분해를 통해 감소 질량 제약 조건을 도입하여 다중 반응 간의 의존성을 포착한다.
• 질량과 희박성 제약 조건을 갖는 벌여진 최소제곱 최적화 문제로 추정 문제를 설정한다.
• 전체 추정 이전에 초고차원 공변량을 사전 필터링하기 위해 마진 상관관계 기반의 감소 질량 독립 스크리닝 방법을 제안한다.
• 정규성 조건 하에 추정량의 점근적 오라클 성질을 확립하며, 이는 변수 선택 및 추정의 일致성 포함.

실험 결과

연구 질문

• RQ1 고차원 공변량을 가진 다변량 변형계수 모형에서 감소 질량 회귀와 희박한 변수 선택이 효과적으로 결합될 수 있는가?
• RQ2 제안된 방법이 계수 함수와 계수 행렬의 질량을 추정할 때 오라클 성질을 달성하는가?
• RQ3 벌여진 추정이 계산적으로 불가능해지는 고차원 설정에서 이 방법의 성능은 어떠한가?
• RQ4 제안된 감소 질량 독립 스크리닝 방법이 중요한 예측변수를 유지하면서 차원을 효과적으로 감소시킬 수 있는가?
• RQ5 변형계수 모형에서 제안된 추정량의 이론적 성능 보장(예: 수렴 속도, 선택 일치성)은 무엇인가?

주요 결과

• 제안된 방법은 점근적 오라클 성질을 달성한다. 즉, 참 모형을 일치시켜 선택하고 참 모형이 알려져 있을 때와 동일한 효율성으로 계수를 추정한다.
• 추정량의 수렴 속도는 $ O_p\big(\sqrt{(q+K)r/n} \cdot \log n\big) $ 이며, 여기서 $ q $는 반응변수의 수, $ K $는 스플라인 근의 수, $ r $은 진짜 질량이다.
• 이 방법은 유전체 데이터에서 색인 변수(예: 신체 활동 수준)와 상호작용하는 중요한 SNP를 성공적으로 식별하며, 표준 방법보다 예측 성능을 향상시킨다.
• 감소 질량 독립 스크리닝은 초고차원 공변량의 차원을 효과적으로 감소시켜 후속 벌여진 추정을 가능하게 한다.
• 시뮬레이션 결과는 동시에 변수와 질량 선택을 수행할 경우 별도의 선택이나 매개수치 모형보다 더 우수한 예측 성능을 보임을 보여준다.
• 이론적 분석은 모형 선택 오류의 확률이 지수적으로 감소하며, $ \exp\{-C_2(q+K)r\} + K^2\exp\{-C_4n/K^3\} $ 정도의 상한선을 가짐을 확인한다.