[논문 리뷰] Adaptive Estimation of Multivariate Regression with Hidden Variables

Xin Bing, Yang Ning외 1명|arXiv (Cornell University)|2020. 03. 30.

Statistical Methods and Inference참고 문헌 54인용 수 4

한 줄 요약

이 논문은 관측되지 않는 은닉 변수가 존재할 때 다변량 회귀 계수를 적응적으로 추정하기 위한 새로운 알고리즘인 HIVE를 제안한다. 그들은 그룹-라소와 리지 페널티를 이중 절차에 통합함으로써 첫 번째로 계수 행렬과 잔차 구조를 추정하고, 두 번째로 은닉 변수의 영향을 투영하여 제거함으로써 동등한 오차 구속 조건을 확립한다. 이는 동등한 오차와 이종 분산 오차 모두에서 비점근적 오차 경계를 보장하며, 식별 가능성과 통계적 일致성을 확보한다.

ABSTRACT

This paper studies the estimation of the coefficient matrix $\Ttheta$ in multivariate regression with hidden variables, $Y = (\Ttheta)^TX + (B^*)^TZ + E$, where $Y$ is a $m$-dimensional response vector, $X$ is a $p$-dimensional vector of observable features, $Z$ represents a $K$-dimensional vector of unobserved hidden variables, possibly correlated with $X$, and $E$ is an independent error. The number of hidden variables $K$ is unknown and both $m$ and $p$ are allowed but not required to grow with the sample size $n$. Since only $Y$ and $X$ are observable, we provide necessary conditions for the identifiability of $\Ttheta$. The same set of conditions are shown to be sufficient when the error $E$ is homoscedastic. Our identifiability proof is constructive and leads to a novel and computationally efficient estimation algorithm, called HIVE. The first step of the algorithm is to estimate the best linear prediction of $Y$ given $X$ in which the unknown coefficient matrix exhibits an additive decomposition of $\Ttheta$ and a dense matrix originated from the correlation between $X$ and the hidden variable $Z$. Under the row sparsity assumption on $\Ttheta$, we propose to minimize a penalized least squares loss by regularizing $\Ttheta$ via a group-lasso penalty and regularizing the dense matrix via a multivariate ridge penalty. Non-asymptotic deviation bounds of the in-sample prediction error are established. Our second step is to estimate the row space of $B^*$ by leveraging the covariance structure of the residual vector from the first step. In the last step, we remove the effect of hidden variable by projecting $Y$ onto the complement of the estimated row space of $B^*$. Non-asymptotic error bounds of our final estimator are established. The model identifiability, parameter estimation and statistical guarantees are further extended to the setting with heteroscedastic errors.

연구 동기 및 목표

• 관측되지 않는 은닉 변수가 관측된 특징과 상관관계가 있을 때 다변량 회귀 계수를 추정하는 데 도전하는 것.
• 은닉 변수가 존재할 때 계수 행렬 Θ의 식별 가능성을 위한 필요 및 충분 조건을 확립하는 것.
• 알 수 없는 수의 은닉 변수와 증가하는 차원을 처리할 수 있는 계산적으로 효율적인 추정 알고리즘을 개발하는 것.
• 동등한 오차와 이종 분산 오차 구조 모두에서 비점근적 예측 및 추정 오차 경계를 제공하는 것.
• 응답 수(m)와 예측 변수 수(p)가 표본 크기 n과 함께 증가할 수 있는 설정으로 프레임워크를 확장하는 것.

제안 방법

• 은닉 변수 Z가 관측되지 않으며 X와 상관관계가 있을 때 다변량 회귀 모델을 Y = Θ^T X + (B^*)^T Z + E로 수식화한다.
• 오차가 동등 분산일 때 필요한 조건과 충분 조건이 모두 만족되는 조건 집합 하에서 Θ의 식별 가능성을 구성적으로 증명한다.
• HIVE 알고리즘 제안: 먼저 X에 기반한 Y의 최적 선형 예측자 추정을 통해 Θ를 희소 및 조밀 성분으로 분해한다.
• 행 희소성과 안정성을 강제하기 위해 Θ에 그룹-라소를, 조밀 성분에 다변량 리지 회귀를 적용하여 페널티 최소화를 수행한다.
• 첫 번째 단계의 잔차 공분산 구조를 분석하여 B^*의 행공간을 추정한다.
• Y를 B^*의 추정된 행공간의 수직보완에 투영하여 은닉 변수 영향을 제거함으로써 최종 추정기 도출.

실험 결과

연구 질문

• RQ1 은닉 변수가 존재하는 다변량 회귀에서 계수 행렬 Θ가 어떤 조건에서 식별 가능할 수 있는가?
• RQ2 은닉 변수 수 K가 알려져 있지 않고 Z가 관측되지 않을 때 Θ를 일致적으로 추정할 수 있는 방법은 무엇인가?
• RQ3 행 희소성과 오차의 이종 분산성 조건 하에서 제안된 추정기의 비점근적 예측 오차 행동은 어떠한가?
• RQ4 통계적 보장을 유지하면서 추정 절차를 계산적으로 효율적으로 만들 수 있는가?
• RQ5 잔차의 공분산 구조는 은닉 변수 공간 추정에 어떻게 기여하는가?

주요 결과

• 오차가 동등 분산일 때 제안된 식별 가능성 조건은 필요 및 충분 조건이며, 이러한 제약 조건 하에서 Θ의 정확한 복원이 가능하다.
• HIVE 알고리즘은 그룹-라소와 리지 정규화를 조합한 이중 절차를 통해 비점근적 내측 예측 오차 경계를 달성한다.
• Y를 B^*의 추정된 행공간의 수직보완에 투영한 후 최종 추정기 Θ는 비점근적 오차 경계를 확보한다.
• 응답 수 m과 예측 변수 수 p가 표본 크기 n과 함께 증가할 때에도 이 방법은 유효하고 통계적으로 일치한다.
• 오차가 이종 분산일 경우에도 동일한 구조적 가정 하에 식별 가능성과 오차 경계를 유지하는 것으로 확장된다.
• 식별 가능성의 구성적 증명은 알고리즘 설계에 직접적으로 영향을 미쳐 추정 절차가 계산적으로 효율적이면서도 통계적으로 타당함을 보장한다.