[논문 리뷰] Low rank Multivariate regression

Christophe Giraud|arXiv (Cornell University)|2010. 09. 27.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 6

한 줄 요약

이 논문은 오차 분산이 알려져 있지 않은 경우 저질서 다변량 회귀에서 질서 선택을 위한 점점 수렴하지 않는 기준을 제안한다. 랜덤 행렬의 기대 Ky-Fan 노름에 기반한 펜alties를 도입하여, $ m < p $ 인 고차원 설정에서도 최적의 추정 성능을 보장하는 오라클 부등식을 증명한다.

ABSTRACT

We consider in this paper the multivariate regression problem, when the target regression matrix $A$ is close to a low rank matrix. Our primary interest in on the practical case where the variance of the noise is unknown. Our main contribution is to propose in this setting a criterion to select among a family of low rank estimators and prove a non-asymptotic oracle inequality for the resulting estimator. We also investigate the easier case where the variance of the noise is known and outline that the penalties appearing in our criterions are minimal (in some sense). These penalties involve the expected value of the Ky-Fan quasi-norm of some random matrices. These quantities can be evaluated easily in practice and upper-bounds can be derived from recent results in random matrix theory.

연구 동기 및 목표

• 오차 분산이 알려져 있지 않은 경우 고차원 설정에서 흔히 발생하는 실용적 제약 조건에 따라 다변량 회귀에서 질서 선택 문제를 해결하기 위해.
• 일반적으로 응용에서 현실적이지 않은 알려진 분산 사례를 넘어서 저질서 추정의 점점 수렴하지 않는 이론을 확장하기 위해.
• 최적의 추정 성능을 보장하는 이론적으로 타당하고 데이터 기반의 기준을 제안하여 회귀 계수 행렬 $ A $ 의 질서를 선택하기 위해.
• 알려진 분산과 알려지지 않은 분산 사례 모두에 대해 최소 펜alties를 유도하고, 랜덤 행렬 이론과의 명시적 연결을 제공하기 위해.
• 주성분 분석 및 기타 저질서 추정 문제에 대한 방법의 적용 가능성을 보여주기 위해.

제안 방법

• 오차 분산 $ \sigma^2 $ 가 알려져 있지 않은 경우 질서 선택을 위한 기준 $ {\mathrm{Crit}}(r) = \log(\|Y - X\widehat{A}_r\|^2) + \mathrm{pen}(r) $ 를 제안하며, 여기서 $ \widehat{A}_r $ 는 질서 제약이 있는 최소 제곱 추정자이다.
• 펜alties $ \mathrm{pen}(r) \geq -\log\left(1 - K \frac{\mathcal{S}_{q\times n}(r)^2}{nm - 1}\right) $ 를 유도하며, 여기서 $ K > 1 $ 이고, $ \mathcal{S}_{q\times n}(r) = \mathbb{E}[\|G_{q\times n}\|_{(2,r)}] $ 는 표준 정규 행렬의 기대 Ky-Fan $ (2,r) $-노름이다.
• 정규 분포의 농도 불등식과 기대 Ky-Fan 노름에 대한 경계를 사용하여 추정 오차에 대한 확률적 제어를 확립한다.
• 유도된 추정자에 대해 점점 수렴하지 않는 오라클 부등식을 확립하여, 진짜 질서에 대해 가능한 최적의 위험에 가까운 위험을 보여준다.
• 알려진 분산 사례에서는 $ \mathrm{pen}(r) = \mathcal{S}_{q\times n}(r)^2 $ 가 최소이며 날카로운 위험 경계를 이끌어낸다.
• 행렬 $ X $ 의 특이값 분해(SVD)를 활용하고, $ Z = U_q \Sigma_q $ 와 $ B = V_q^* A $ 를 사용하여 문제를 저차원 회귀 프레임워크로 변환한다.

실험 결과

연구 질문

• RQ1 오차 분산 $ \sigma^2 $ 가 알려져 있지 않은 저질서 다변량 회귀에서 질서 $ r $ 을 신뢰성 있게 선택하는 방법은 무엇인가?
• RQ2 다변량 회귀에서 질서 선택에 있어 점점 수렴하지 않는 최적성 보장에 필요한 최소 펜alties는 무엇인가?
• RQ3 랜덤 행렬의 Ky-Fan 노름을 사용하여 이론적으로 타당하고 데이터 기반의 펜alties를 구성할 수 있는가?
• RQ4 설계 행렬 $ X $ 가 불안정한 조건을 가진 경우, 특히 $ m < p $ 인 고차원 설정에서 제안된 기준은 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법을 주성분 분석 및 기타 저질서 추정 문제로 얼마나 넓게 확장할 수 있는가?

주요 결과

• 제안된 기준 $ \mathrm{Crit}(r) = \log(\|Y - X\widehat{A}_r\|^2) + \mathrm{pen}(r) $ 에서 $ \mathrm{pen}(r) \geq -\log\left(1 - K \frac{\mathcal{S}_{q\times n}(r)^2}{nm - 1}\right) $, $ K > 1 $ 을 사용하면, 유도된 추정자에 대해 점점 수렴하지 않는 오라클 부등식이 성립한다.
• 이 펜alties는 모델 클래스 전반에서 위험을 균일하게 통제하지 못할 경우 더 작은 펜alties가 실패할 수 있다는 점에서 최소임이 입증된다.
• 알려진 분산 사례에서는 $ \mathrm{pen}(r) = \mathcal{S}_{q\times n}(r)^2 $ 가 최소임이 증명되고 날카로운 위험 경계를 이끌어낸다.
• 기대 Ky-Fan 노름 $ \mathcal{S}_{q\times n}(r) $ 는 $ n, m $ 이 큰 경우 몬테카를로 또는 Marchenko-Pastur 법칙을 통해 근사 가능하여 실용적 구현이 가능하다.
• 이론적 프레임워크는 $ m < p $ 인 경우에도 적용 가능하여, 예측 변수의 수가 표본 크기를 초과하는 고차원 회귀 문제에 적합하다.
• 최소 위험 수렴 속도는 로그 요소를 제외하고 최소 최적 속도를 달성하며, 임의의 추정자에 대해 위험은 $ c_\rho (q + n) r \sigma^2 $ 이하로 경계된다.