[논문 리뷰] On Degrees of Freedom of Projection Estimators with Applications to Multivariate Shape Restricted Regression

Xi Chen, Qihang Lin외 1명|arXiv (Cornell University)|2015. 01. 01.

Statistical Methods and Inference참고 문헌 52인용 수 9

한 줄 요약

이 논문은 경계가 있는 이소톤, 다변수 볼록, 그리고 페널티가 부여된 볼록 회귀와 같은 형태 제약 회귀에서 투사 추정량의 자유도를 통합적으로 기술한다. 리지, 라소, 일반화된 라소에 대한 기존 결과를 확장하여, 명시적인 자유도 공식을 통해 스텐의 무편향 위험 추정을 통한 튜닝 파rameter 선택을 가능하게 한다.

ABSTRACT

Abstract: Consider the Gaussian sequence model y ∼ N(θ∗, σ2In), where θ ∗ is unknown but known to belong to a closed convex polyhedral set C ⊆ Rn. In this paper we provide a unified characterization of the degrees of freedom for estimators of θ ∗ obtained as the (linearly or quadratically perturbed) par-tial projection of y onto C. As special cases of our results, we derive explicit expressions for the degrees of freedom in many shape restricted regression problems, e.g., bounded isotonic regression, multivariate convex regression and penalized convex regression. Our general theory also yields, as special cases, known results on the degrees of freedom of many well-studied estima-tors in the statistics literature, such as ridge regression, Lasso and generalized Lasso. Our results can be readily used to choose the tuning parameter(s) in-volved in the estimation procedure by minimizing the Stein’s unbiased risk estimate. We illustrate this through simulation studies for bounded isotonic regression and penalized convex regression. As a by-product of our analysis we derive an interesting connection between bounded isotonic regression and isotonic regression on a general partially ordered set, which is of independent interest.

연구 동기 및 목표

• 형태 제약 회귀 문제에서 투사 추정량의 자유도에 대한 일반 이론을 개발하는 것.
• 리지, 라소, 일반화된 라소와 같은 추정량에 대한 자유도에 관한 기존 결과를 공통 프레임워크로 통합하는 것.
• 경계가 있는 이소톤 회귀, 다변수 볼록 회귀, 그리고 페널티가 부여된 볼록 회귀에 대한 명시적인 자유도 표현식을 도출하는 것.
• 스텐의 무편향 위험 추정을 통한 데이터 기반 튜닝 파rameter 선택을 가능하게 하는 것.
• 경계가 있는 이소톤 회귀와 일반 부분 순서 집합 위의 이소톤 회귀 사이의 새로운 연결 고리를 드러내는 것.

제안 방법

• 논문은 관측 벡터 y를 닫힌 볼록 다각형 집합 C ⊆ Rn 내의 평균 θ∗를 가진 가우시안 수열로 모델링한다.
• y를 C에 대한 (선형 또는 이차적으로 페르튜브된) 부분 투사로 정의된 추정량을 분석한다.
• 기하학적 및 볼록 해석 도구를 사용하여 자유도를 특성화하며, 특히 다각형 집합의 구조를 활용한다.
• 이 프레임워크는 형태 제약 조건이 있는 비제약 및 제약 조건이 있는 추정 문제에 모두 적용된다.
• 이론은 이소톤 및 볼록 회귀와 같은 특정 모델에 대해 명시적인 자유도를 도출하는 데 응용된다.
• 이 방법은 스텐의 무편향 위험 추정(SURE)의 최소화를 통한 튜닝 파rameter 선택을 지원한다.

실험 결과

연구 질문

• RQ1 형태 제약 회귀에서 투사 추정량의 자유도의 일반 형태는 무엇인가?
• RQ2 경계가 있는 이소톤 회귀의 자유도는 어떻게 명시적으로 특성화할 수 있는가?
• RQ3 리지 및 라소와 같은 기존 추정량이 이 통합 프레임워크에 얼마나 잘 맞는가?
• RQ4 자유도 공식은 실무에서 SURE를 통한 튜닝 파arameter 선택에 사용될 수 있는가?
• RQ5 경계가 있는 이소톤 회귀와 일반 부분 순서 집합 위의 이소톤 회귀 사이의 관계는 무엇인가?

주요 결과

• 논문은 경계가 있는 이소톤 회귀, 다변수 볼록 회귀, 그리고 페널티가 부여된 볼록 회귀에서 자유도에 대한 명시적이고 폐형의 표현식을 도출한다.
• 이 프레임워크는 리지 회귀, 라소, 일반화된 라소에 대한 기존의 자유도 결과를 특수 케이스로 복원한다.
• 자유도가 계산 가능하고, 스텐의 무편향 위험 추정을 통한 튜닝 파arameter 선택에 적합함이 입증된다.
• 시뮬레이션 연구는 SURE 기반 튜닝의 효과성을 경계가 있는 이소톤 및 페널티가 부여된 볼록 회귀에서 입증한다.
• 경계가 있는 이소톤 회귀와 일반 부분 순서 집합 위의 이소톤 회귀 사이에 놀라운 연결 고리가 드러나며, 이는 별도의 이론적 관심을 끌고 있다.
• 이론은 형태 제약 추정에서 모델 선택과 불확실성 정량화에 체계적인 접근법을 제공한다.