[논문 리뷰] Nonparametric Reduced Rank Regression

Rina Foygel, Michael T. Horrell외 2명|arXiv (Cornell University)|2013. 01. 09.

Statistical Methods and Inference참고 문헌 10인용 수 14

한 줄 요약

이 논문은 비모수적 감소 질량 회귀를 기능적 핵자르기 노름 페널티를 통해 제안하여, 하위미분 해석학에 기반한 백피팅 알고리즘을 사용해 저질량 다변량 가감 모형을 추정한다. 고차원 설정에서 최적의 스케일링을 보여주는 오라클 부등식을 수립하고, 질량 감소된 피팅을 갖는 유전자 발현 및 생화학 데이터에 대해 방법을 적용한다.

ABSTRACT

We propose an approach to multivariate nonparametric regression that generalizes reduced rank regression for linear models. An additive model is estimated for each dimension of a $q$-dimensional response, with a shared $p$-dimensional predictor variable. To control the complexity of the model, we employ a functional form of the Ky-Fan or nuclear norm, resulting in a set of function estimates that have low rank. Backfitting algorithms are derived and justified using a nonparametric form of the nuclear norm subdifferential. Oracle inequalities on excess risk are derived that exhibit the scaling behavior of the procedure in the high dimensional setting. The methods are illustrated on gene expression data.

연구 동기 및 목표

• 다변량 회귀에서 선형에서 비모수적 가감 모형으로 감소 질량 회귀를 일반화하기.
• 비모수적 함수 추정에서 저질량 구조를 유도하는 기능적 형태의 핵자르기 노름을 개발하기.
• 핵자르기 노름 페널티의 비모수적 하위미분을 사용해 백피팅 알고리즘을 유도하고 정당화하기.
• 고차원 설정에서 초과 위험에 대한 오라클 부등식을 통해 이론적 보장을 수립하기.
• 유전자 발현 및 생화학 측정과 같은 저질량 구조를 갖는 실제 데이터에 대해 방법을 시연하기.

제안 방법

• 비모수적 다변량 가감 모형을 위한 두 가지 정규화 페널티를 제안함—Ky-Fan 또는 핵자르기 노름의 기능적 유사체를 사용함.
• 기능적 하위미분 해석학을 사용해 반복적으로 함수 추정을 업데이트하는 페널티가 부여된 백피팅 알고리즘을 정당화함.
• 각 백피팅 반복에서 局부선형 스무딩과 특이값의 소프트 임계처리를 적용해 저질량 구조를 강제함.
• 유한 표본 위험 경계를 유도하기 위해 스펙트럼 노름 농도 부등식을 사용함.
• 모델 복잡성과 예측 정확도의 균형을 맞추기 위해 십분할 교차검증을 사용해 튜닝 파rameter를 선택함.
• 선형 가정 하에서 고전적 감소 질량 회귀를 복원하기 위해 페널티를 특수화함.

실험 결과

연구 질문

• RQ1 핵자르기 노름은 다변량 가감 모형에서 비모수적 함수 추정으로 일반화될 수 있는가? 이는 저질량 구조를 유도하기 위해 필요하다.
• RQ2 하위미분 해석학을 사용해 비모수적 감소 질량 회귀에 대한 백피팅 알고리즘을 어떻게 도출하고 정당화할 수 있는가?
• RQ3 표본 수 $ n $, 차원 $ p $, 반응 차원 $ q $ 가 증가하는 고차원 설정에서 추정기의 통계적 스케일링 행동은 어떻게 되는가?
• RQ4 제안된 페널티는 선형 경우의 고전적 그룹 라소와 핵자르기 노름 정규화와 비교해 어떻게 되는가?
• RQ5 이 방법은 유전자 발현 및 생화학 측정과 같은 실제 데이터에서 저질량 구조를 복원할 수 있는가?

주요 결과

• 적절한 고차원 스케일링 하에서 표본 수 $ n $, 차원 $ p $, 반응 차원 $ q $ 에 대해 유리한 스케일링을 보이는 오라클 위험 경계를 달성함.
• 페널티 1(기능적 핵자르기 노름)을 사용한 백피팅 알고리즘은 강한 정규화 하에서 질량 1 또는 질량 0 성분을 생성하며, 각 열에 대해 별도의 스케일링을 보임.
• 페널티 2와 교차검증된 $ \lambda $ 를 사용할 경우, 유전자 발현 데이터 피팅에서 질량 5를 달성했으며, 이는 최대 가능한 질량 27보다 크게 낮음.
• 생화학 데이터에서는 $ \lambda = 1 $ 정규화로 질량 3 해답을 얻었으며, 이는 세 개의 반응 변수(인, 포스페이트, 크레아티닌)가 상호 간에 스케일링된 형태임을 의미함.
• 페널티 2 하에서 함수 간 일관된 스케일링 패턴을 보이는 피팅을 통해 실제 데이터에서 저질량 구조를 성공적으로 복원함.
• 이론적 분석은 $ n $, $ p $, $ q $ 에 대한 스케일링 가정 하에서 추정 오차가 0으로 수렴함을 확인하여 방법의 일致성 검증함.