[논문 리뷰] Generalized High-Dimensional Trace Regression via Nuclear Norm Regularization

Jianqing Fan, Wenyan Gong외 1명|arXiv (Cornell University)|2017. 10. 23.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 5

한 줄 요약

이 논문은 다양한 통계 및 경제학적 설정에서 근사-저질서 행렬 계수를 추정하기 위해 핵 노름 정규화를 적용한 일반화된 고차원 추적 회귀 모델을 제안한다. 경험적 음이 아닌 로그우도에 핵 노름 페널티를 적용함으로써, 선형, 감소질서, 행렬 완성 모델 전반에 걸쳐 로그 인자에 비례하는 최소최대 최적 속도를 달성하며, 실증적 검증을 통해 주가 수익률 예측 및 이미지 분류에서 정규화되지 않은 또는 희소성 기반 대안들보다 향상된 성능을 보였다.

ABSTRACT

We study the generalized trace regression with a near low-rank regression coefficient matrix, which extends notion of sparsity for regression coefficient vectors. Specifically, given a matrix covariate $X$, the probability density function $f(Y\vert X)=c(Y)\exp{(ϕ^{-1}\left[-Yη^* + b(η^*) ight])}$, where $η^*=tr({Θ^*}^TX)$. This model accommodates various types of responses and embraces many important problem setups such as reduced-rank regression, matrix regression that accommodates a panel of regressors, matrix completion, among others. We estimate $Θ^*$ through minimizing empirical negative log-likelihood plus nuclear norm penalty. We first establish a general theory and then for each specific problem, we derive explicitly the statistical rate of the proposed estimator. They all match the minimax rates in the linear trace regression up to logarithmic factors. Numerical studies confirm the rates we established and demonstrate the advantage of generalized trace regression over linear trace regression when the response is dichotomous. We also show the benefit of incorporating nuclear norm regularization in dynamic stock return prediction and in image classification.

연구 동기 및 목표

• 다양한 반응 유형에 걸쳐 근사-저질서 계수 행렬을 가진 고차원 추적 회귀의 통합 프레임워크를 개발하는 것.
• 일반선형 모델 하에서 핵 노름 정규화 추정량의 이론적 통계 속도를 확립하는 것.
• 금융 예측 및 이미지 분류와 같이 저질서 구조가 있는 설정에서 희소성 기반 방법보다 핵 노름 정규화가 우월함을 보여주는 것.
• 기존의 추적 회귀를 이진, 연속, 행렬형 반응을 포함한 일반선형 모델로 확장하는 것.
• 동적 주가 수익률 예측 및 CIFAR10 이미지 분류에서 실증적으로 방법을 검증하여 저질서 정규화에서의 일관된 성과 향상을 보여주는 것.

제안 방법

• 반응의 조건부 평균이 계수 행렬과 공변수 행렬의 곱의 추적에 의존하는 일반화된 추적 회귀 모델을 설정한다.
• 저질서 구조를 유도하기 위해 경험적 음이 아닌 로그우도에 핵 노름 페널티를 적용하여 미지의 계수 행렬을 추정한다.
• 선형 추적 회귀에서 최소최대 속도에 로그 인자 수준까지 일치하는 이론적 오차 한계를 유도한다.
• 감소질서 회귀, 행렬 완성, 동적 패널 모델과 같은 특정 모델에 방법을 적용한다.
• 시계열 응용을 위해 윈도우를 이동시키는 방법을 사용하며, 3년 데이터 윈도우에서 매달 계수 행렬을 재추정한다.
• 합성곱 신경망을 사용해 384차원 특징을 추출하고, 이를 24×16 행렬로 재구성한 후, 핵 노름 정규화를 적용한 일반화된 추적 회귀를 분류에 적용한다.

실험 결과

연구 질문

• RQ1 진짜 계수 행렬이 근사적으로 저질서일 경우, 핵 노름 정규화가 고차원 추적 회귀에서 추정 정확도를 향상시킬 수 있는가?
• RQ2 핵 노름 정규화 추정량의 통계적 속도가 일반화된 추적 회귀 모델에서 최소최대 최적 속도와 일치하는가?
• RQ3 주가 수익률 예측 및 이미지 분류에서, 제안된 방법이 정규화되지 않은 또는 ℓ1 정규화 대안보다 어떻게 비교되는가?
• RQ4 계수 행렬에 저질서 구조가 있을 경우, 희소성보다 성능이 뛰어난 설정은 무엇인가?
• RQ5 일반화된 추적 회귀 프레임워크는 비정규분포 및 비선형 반응 분포를 효과적으로 다룰 수 있는가?

주요 결과

• 핵 노름 정규화 추정량은 모든 고려된 모델에서 선형 추적 회귀의 최소최대 최적 속도에 로그 인자 수준까지 일치하는 통계적 속도를 달성한다.
• 동적 주가 수익률 예측에서 핵 노름 정규화 모델은 평균 정확도 53.89%를 기록하여 정규화되지 않은 모델(52.74%)과 결정론적 기준(51.62%)을 모두 초월했다.
• CIFAR10 이미지 분류 작업에서 핵 노름 정규화는 λ=0.05에서 최고 테스트 정확도 76.17%를 기록하여 ℓ1 정규화(λ=0.002에서 75.90%)와 정규화되지 않은 기준(74.30%)을 모두 뛰어넘었다.
• 수익률 예측에서 20개 주식 중 18개에서 일관된 향상이 있었으며, 20개의 경우 중 15개에서 결정론적 기준을 초월했다.
• 실증 결과는 딥 네ural 네트워크 특징가 저질서 구조를 띠며, 이로 인해 이미지 분류에서 핵 노름 정규화가 ℓ1 정규화보다 더 효과적임을 시사한다.
• 매달 재추정하는 윈도우 이동 구현 방식은 안정적인 성능을 유지하여, 시간에 따라 변하는 환경에서의 방법의 강건성을 확인했다.