[논문 리뷰] On the singular values of the reduced-rank multivariate response regression

Vladislav Kargin|arXiv (Cornell University)|2014. 09. 24.

Random Matrices and Applications참고 문헌 20인용 수 1

한 줄 요약

이 논문은 저질서 구조를 가진 고차원 다변량 회귀에서 계수 행렬과 예측된 반응 행렬의 특이값을 연구한다. 가장 큰 특이값이 스케일 조정된 Tracy-Widom 분포를 따름을 규명하여, 새로운 랭크 선택 알고리즘과 유도된 점근적 분포를 가진 일致된 추정기들을 가능하게 한다.

ABSTRACT

We consider a multivariate linear response regression in which the number of responses and predictors is large and comparable with the number of observations, and the rank of the matrix of regression coefficients is assumed to be small. We study the distribution of singular values for the matrix of regression coefficients and for the matrix of predicted responses. For both matrices, it is found that the limit distribution of the largest singular value is a rescaling of the Tracy-Widom distribution. Based on this result, we suggest algorithms for the model rank selection and compare them with the algorithm suggested by Bunea, She and Wegkamp. Next, we design two consistent estimators for the singular values of the coefficient matrix, compare them, and derive the asymptotic distribution for one of these estimators..

연구 동기 및 목표

• 저질서 계수 행렬을 가진 고차원 다변량 회귀에서 특이값의 점근적 분포를 이해하는 것.
• 계수 행렬의 특이값에 대한 일치된 추정기를 개발하는 것.
• Tracy-Widom 극한에 기반한 새로운 모델 랭크 선택 알고리즘을 제안하는 것.
• Bunea, She, and Wegkamp의 알고리즘과 같은 기존 방법들과의 비교를 수행하는 것.

제안 방법

• 계수 행렬의 가장 큰 특이값의 극한 분포를 스케일 조정된 Tracy-Widom 분포로 유도한다.
• 동일한 극한 분포를 예측된 반응 행렬의 행렬에 적용한다.
• 가장 큰 특이값의 Tracy-Widom 분위수에 기반한 랭크 선택 알고리즘을 제안한다.
• 계수 행렬의 특이값에 대한 두 개의 일치된 추정기를 설계한다.
• 제안된 추정기 중 하나의 점근적 분포를 유도한다.
• 고차원 점근적 조건 하에서의 점근적 행동을 정당화하기 위해 난수 행렬 이론을 적용한다.

실험 결과

연구 질문

• RQ1 감소된 랭크 다변량 회귀에서 계수 행렬의 가장 큰 특이값의 극한 분포는 무엇인가?
• RQ2 Tracy-Widom 극한은 어떻게 일치된 모델 랭크 선택에 활용될 수 있는가?
• RQ3 계수 행렬의 특이값에 대한 일치된 추정기의 성질은 무엇인가?
• RQ4 제안된 추정기들은 유한 표본에서 기존 방법들과 어떻게 비교되는가?
• RQ5 제안된 특이값에 대한 일치된 추정기의 점근적 분포는 무엇인가?

주요 결과

• 계수 행렬의 가장 큰 특이값의 극한 분포는 스케일 조정된 Tracy-Widom 분포이다.
• 예측된 반응 행렬의 가장 큰 특이값에도 동일한 Tracy-Widom 극한이 적용된다.
• Tracy-Widom 분위수에 기반한 제안된 랭크 선택 알고리즘은 Bunea, She, and Wegkamp의 방법과 비교해 성능이 뛰어나거나 동등하다.
• 계수 행렬의 특이값에 대한 두 개의 일치된 추정기가 제안되었으며, 그 중 하나는 유도된 점근적 분포를 갖는다.
• 선택된 추정기의 점근적 분포가 유도되었으며, 고차원 점근적 조건 하에서 유효함이 입증되었다.
• 이론적 결과는 시뮬레이션 비교를 통해 지지되며, 제안된 방법의 일致성과 정확성을 확인한다.