[논문 리뷰] On the risk of convex-constrained least squares estimators under misspecification

Billy Fang, Adityanand Guntuboyina|arXiv (Cornell University)|2017. 06. 13.

Statistical Methods and Inference참고 문헌 12인용 수 4

한 줄 요약

이 논문은 진짜 평균 벡터가 제약 집합 외부에 있을 때, 제약 조건이 있는 최소 제곱 추정기의 성질을 연구한다. 고소음(큰 σ) 근처에서 추정기의 위험은 잘 지정된 경우보다 크게 낮아질 수 있음을 보이며, 다각형 제약 조건에 대해 Oymak와 Hassibi의 저소음 특성화를 오차 모델로 일반화한다. 이는 등급 회귀 및 형태 제약 모델에 영향을 미친다.

ABSTRACT

We consider the problem of estimating the mean of a noisy vector. When the mean lies in a convex constraint set, the least squares projection of the random vector onto the set is a natural estimator. Properties of the risk of this estimator, such as its asymptotic behavior as the noise tends to zero, have been well studied. We instead study the behavior of this estimator under misspecification, that is, without the assumption that the mean lies in the constraint set. For appropriately defined notions of risk in the misspecified setting, we prove a generalization of a low noise characterization of the risk due to Oymak and Hassibi in the case of a polyhedral constraint set. An interesting consequence of our results is that the risk can be much smaller in the misspecified setting than in the well-specified setting. We also discuss consequences of our result for isotonic regression.

연구 동기 및 목표

• 진짜 평균 벡터가 제약 집합에 포함되지 않을 때, 즉 모델 오차가 있을 때 제약 조건이 있는 최소 제곱 추정기의 행동을 이해하는 것.
• Oymak와 Hassibi의 저소음 위험 특성화를 고소음 영역과 오차 모델 설정으로 일반화하는 것.
• 소음 분산 σ² → ∞ 일 때의 점근적 위험 행동을 분석하는 것, 특히 다각형 제약 집합에 대해.
• 등급 회귀 및 기타 형태 제약 모델에 대한 결과의 영향을 검토하는 것.
• 제약 집합의 탄성 원뿔과 접선 원뿔의 통계 차원을 통해 최종 위험을 특성화하는 것.

제안 방법

• 닫힌 볼록 집합 C 위에 최소 제곱 투영을 사용하여 추정기로 사용: ŝθ(Y) = Π_C(Y).
• 진짜 평균 θ*가 C에 속하지 않을 때의 위험 R(ŝθ, θ*) = E_θ* ||ŝθ(Y) - θ*||² 을 분석한다.
• 고소음 근처(σ → ∞)에서 σ⁻² 배수의 위험에 대해 지배 수렴 정리를 적용한다.
• 제약 집합 C의 회귀 원뿔 K_C 를 도입하고, 최종 위험과 통계 차원 δ(K_C) 간의 관계를 규명한다.
• lim_{σ→∞} σ⁻² E||Π_C(Y) - θ*||² = δ(K_C) 를 증명하며, 여기서 δ 는 통계 차원을 의미한다.
• 원뿔 위에 투영하는 성질과 투영 함수의 연속성으로 극한의 순서 변경을 정당화한다.

실험 결과

연구 질문

• RQ1 진짜 평균 벡터가 제약 집합 외부에 있을 때, 제약 조건이 있는 최소 제곱 추정기의 위험은 어떻게 행동하는가?
• RQ2 고소음(큰 σ) 근처에서 정규화된 위험은 제약 집합의 기하적 특성으로 어떻게 특성화될 수 있는가?
• RQ3 오차 모델 설정에서 위험은 잘 지정된 설정보다 낮아질 수 있는가?
• RQ4 회귀 원뿔 K_C 는 σ → ∞ 일 때 최종 위험을 결정하는 데 어떤 역할을 하는가?
• RQ5 이 결과들은 등급 회귀 및 기타 형태 제약 모델로 어떻게 일반화되는가?

주요 결과

• 고소음 근처(σ → ∞)에서, 정규화된 위험 σ⁻² E||Π_C(Y) - θ*||² 은 제약 집합 C의 회귀 원뿔 K_C 의 통계 차원으로 수렴한다.
• 최종 위험 δ(K_C) 는 잘 지정된 위험 σ² δ(T_C(θ*)) 보다 엄격히 작을 수 있으며, 이는 고소음 영역에서 오차 모델이 오히려 낮은 위험을 초래할 수 있음을 보여준다.
• 비유계 제약 집합 C 에 대해서는 회귀 원뿔 K_C 가 비자명하며, δ(K_C) > 0 이다; 유계 C 에 대해서는 K_C = {0} 이므로 최종 위험은 0 이다.
• 결과는 Oymak와 Hassibi의 저소음 특성화를 고소음 영역으로 일반화하며, δ(K_C) 가 두 극단 모두에서 이중적인 역할을 한다는 것을 보여준다.
• 정규화된 위험의 δ(K_C) 로의 수렴은 지배 수렴 정리와 투영 함수의 연속성에 의해 정당화된다.
• 등급 회귀(여기서 C = ℝⁿ₊)의 경우, 최종 위험은 δ(ℝⁿ₊) = n 이지만, 제약의 구조로 인해 유한 표본 위험은 오차 모델 하에서 더 낮을 수 있다.