[논문 리뷰] Degrees of Freedom of the Reduced Rank Regression

Ashin Mukherjee, Naisyin Wang외 1명|arXiv (Cornell University)|2012. 10. 09.

Advanced Statistical Methods and Models참고 문헌 40인용 수 4

한 줄 요약

이 논문은 스틴의 무편향 위험 추정(Stein's unbiased risk estimation, SURE)을 사용하여 감소 질량 회귀의 자유도에 대한 정확하고 유한 표본에서 편향이 없는 추정기(_estimator)를 제안한다. 이 방법은 Mallow의 Cp나 일반화된 교차검증(GCV)과 같은 기준을 통해 정확한 모델 선택을 가능하게 하며, 히우리스틱적 질량 선택과 비교해 뚜렷이 뛰어나며, 계산 비용이 큰 재표본 추출 방법을 피한다.

ABSTRACT

In this paper we study the effective degrees of freedom of the reduced rank regression estimator in the framework of Stein's unbiased risk estimation (SURE). We derive a finite-sample exact unbiased estimator of the degrees of freedom for the reduced rank regression. We show that it is significantly different from the number of free parameters in the model, which is often taken as a heuristic estimate of the degrees of freedom for the reduced rank regression. Using the exact unbiased estimator of the degrees of freedom, one can easily employ various model selection criteria such as Mallow's Cp or GCV to efficiently choose an optimal rank for the reduced rank regression problem, which often outperforms its heuristic counterpart in terms of prediction accuracy and successfully avoids computationally expensive data perturbation or bootstrap based methods. We have also extended the proposed approach to other related estimation procedures, including the reduced rank ridge regression and a weighted nuclear norm penalized multivariate regression.

연구 동기 및 목표

• 감소 질량 회귀에서 정확하고 유한 표본에서의 자유도 추정기가 부족한 문제를 해결하기 위해.
• 일반적으로 자유 매개변수의 수로 사용되는 히우리스틱 추정의 한계를 극복하기 위해 — 이는 종종 최적의 모델 선택을 이끌지 못한다.
• Mallow의 Cp와 일반화된 교차검증(GCV)과 같은 기존 기준을 사용하여 효율적이고 정확한 모델 선택을 가능하게 하기 위해.
• 감소 질량 릿지 회귀와 가중 핵심 노름에 벌레가 적용된 다변량 회귀와 같은 관련 방법으로 제안된 자유도 프레임워크를 확장하기 위해.
• 다변량 회귀에서 질량 선택을 위한 기존의 부트스트랩 또는 데이터 변형 방법에 비해 계산 비용이 낮은 대안을 제공하기 위해.

제안 방법

• Stein의 무편향 위험 추정(SURE)을 사용하여 감소 질량 회귀의 정확하고 편향 없는 자유도 추정기를 유도한다.
• 감소 질량 회귀 추정기의 SURE 프레임워크를 적용하여 자유도에 대한 유한 표본 표현을 도출한다.
• 유도된 자유도 추정기를 사용하여 Mallow의 Cp와 일반화된 교차검증(GCV)과 같은 모델 선택 기준을 계산한다.
• 감소 질량 릿지 회귀에 대해 릿지 펜alty를 SURE 기반 자유도 추정에 통합하여 접근을 확장한다.
• 이론적 기반을 유지하면서도 가중 핵심 노름에 벌레가 적용된 다변량 회귀에 대해 방법을 적응시킨다.
• 추정기가 데이터 재표본 추출이나 변형이 필요 없음을 입증하여 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 감소 질량 회귀에서 자유도는 어떻게 정확하게 유한 표본에서 추정할 수 있는가?
• RQ2 제안된 정확한 자유도 추정기는 자유 매개변수의 수로 일반화된 히우리스틱 추정과 비교해 모델 선택 성능에서 어떻게 다를까?
• RQ3 Mallow의 Cp나 GCV와 같은 모델 선택 기준에 사용될 때 정확한 자유도 추정기는 예측 정확도를 향상시킬 수 있는가?
• RQ4 SURE 기반 자유도 프레임워크는 다른 저질량 다변량 회귀 추정기로 얼마나 넓게 확장될 수 있는가?
• RQ5 제안된 방법은 질량 선택에서 기존의 계산 비용이 큰 부트스트랩 또는 변형 기반 방법의 필요성을 제거하는가?

주요 결과

• 제안된 추정기는 감소 질량 회귀의 정확하고 유한 표본에서 편향 없는 자유도 추정을 제공하며, 자유 매개변수의 수와는 다릅니다.
• 정확한 자유도 추정기는 자유 매개변수의 수에 기반한 히우리스틱 질량 선택보다 모델 선택에서 더 높은 예측 정확도를 달성합니다.
• 정확한 자유도 추정기를 사용하면 재표본 추출 없이도 Mallow의 Cp와 GCV를 효율적으로 사용할 수 있습니다.
• 이 프레임워크는 감소 질량 릿지 회귀와 가중 핵심 노름에 벌레가 적용된 다변량 회귀로 성공적으로 확장되었으며, 이론적 타당성을 유지합니다.
• 기존의 재표본 추출 기반 기법에 비해 계산 부담을 줄이며, 질량 선택에서 뛰어난 성능을 달성합니다.