[논문 리뷰] Degrees of freedom for nonlinear least squares estimation

Niels Richard Hansen, Alexander Sokol|arXiv (Cornell University)|2014. 02. 12.

Probabilistic and Robust Engineering Design참고 문헌 21인용 수 9

한 줄 요약

이 논문은 비선형 최소제곱 추정에서 효과적 자유도를 추정하기 위한 일반적인 프레임워크를 수립한다. 비볼록 기하학적 구조로 인해 메트릭 프로젝션 추정량의 발산이 자유도의 편향된 그러나 잘 정의된 추정치임을 보여줌으로써 이루어진다. 주요 기여는 편향을 라돈 측도를 이용해 정확히 표현한 것으로, 이는 특히 체계 생물학에서의 $\varepsilon_1$-제약 조건을 갖는 비선형 미분방정식 모델과 같은 비볼록 모델에서 스텐의 무편향 위험 추정(SURE)을 통한 개선된 위험 추정을 가능하게 한다.

ABSTRACT

We give a general result on the effective degrees of freedom for nonlinear least squares estimation, which relates the degrees of freedom to the divergence of the estimator. We show that in a general framework, the divergence of the least squares estimator is a well defined but potentially negatively biased estimate of the degrees of freedom, and we give an exact representation of the bias. This implies that if we use the divergence as a plug-in estimate of the degrees of freedom in Stein's unbiased risk estimate (SURE), we generally underestimate the true risk. Our result applies, for instance, to model searching problems, yielding a finite sample characterization of how much the search contributes to the degrees of freedom. Motivated by the problem of fitting ODE models in systems biology, the general results are illustrated by the estimation of systems of linear ODEs. In this example the divergence turns out to be a useful estimate of degrees of freedom for $\ell_1$-constrained models.

연구 동기 및 목표

• 비볼록 평균값 모델에서 비선형 최소제곱 추정량에 대한 효과적 자유도의 유한 표본 특성화를 개발하기 위해.
• 체계 생물학에서 ODE 모델이 본질적으로 비선형적이고 비볼록하기 때문에, 무편향 위험 추정의 과제를 해결하기 위해.
• 메트릭 프로젝션의 발산을 자유도의 대체 측정치로 사용하는 이론적 기반을 제공하기 위해, 비록 잠재적인 음의 편향이 있을 수 있더라도.
• 선형 ODE의 $\varepsilon_1$-제약 조건 추정에서 발산 기반 자유도 추정의 적용 가능성과 정확성을 입증하기 위해.
• 발산 기반 자유도 추정의 편향을 정량화하고, 진짜 자유도와 추정 자유도 사이의 격차를 측도 이론적으로 표현하기 위해.

제안 방법

• 닫힌 집합 $K \subseteq \mathbb{R}^n$ 위에 메트릭 프로젝션을 적용함으로써 비선형 최소제곱 추정량에 대한 스텐의 보조정리의 일반화를 유도한다.
• 볼록 함수의 거의 everywhere에서의 미분 가능성에 관한 알렉산드로프의 정리를 사용하여 메트릭 프로젝션의 거의 everywhere에서의 미분 가능성 확립.
• 메트릭 프로젝션의 비가역점 집합 위에서 정의된 라돈 측도 $\nu$ 를 포함하는 적분을 통해 발산 기반 자유도 추정의 편향을 표현한다.
• 특히 선형 ODE의 $\ell_1$-제약 조건 비선형 최소제곱 추정에 이 이론을 적용한다.
• 두 가지 계산 공식을 제안한다: 하나는 매개변수화 모델 기반이고, 다른 하나는 암묵적 미분 또는 추상적 변분 해석을 통한 것이다.
• 시뮬레이션과 분석적 예제를 활용하여 발산 공식의 타당성을 검증하고, 위험 추정 및 모델 선택에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 의미값 모델이 비볼록일 경우 비선형 최소제곱에서 효과적 자유도를 일관되게 추정할 수 있는 방법은 무엇인가?
• RQ2 메트릭 프로젝션의 발산을 자유도 추정치로 사용할 때의 편향의 정확한 성격과 크기는 무엇인가?
• RQ3 비볼록 환경에서 스텐의 무편향 위험 추정(SURE)을 통해 발산 기반 자유도가 무편향 위험 추정치를 제공할 수 있는가?
• RQ4 모델 서치는 $\varepsilon_1$-제약 조건 추정과 비교할 때 발산 기반 자유도 추정량의 편향에 어떤 영향을 미치는가?
• RQ5 라돈 측도 $\nu$ 는 진짜 자유도와 발산 추정치 사이의 격차를 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 메트릭 프로젝션 추정량의 발산은 항상 잘 정의되지만, 제약 집합 $K$ 의 비볼록 기하학적 특성으로 인해 일반적으로 음의 편향을 가진다.
• 발산 기반 자유도 추정의 편향은 메트릭 프로젝션의 비가역점 집합 위에서 정의된 라돈 측도 $\nu$ 를 적분한 것으로 정확히 표현된다.
• 선형 ODE의 $\ell_1$-제약 조건 추정의 맥락에서, 발산은 계산적으로 실현 가능하고 정확한 자유도 추정치를 제공하며, SURE 위험 추정치는 거의 무편향이다.
• 모델 서치의 경우, 발산 기반 자유도 추정량은 진짜 자유도를 크게 과소평가하여 과적합과 너무 복잡한 모델의 선택을 초래한다.
• ODE 예제에서 발산에 대한 근사값 $|\mathcal{A}| - 1$ 이 충분히 정확하고 계산적으로 효율적이었으며, 정확한 계산의 실용적 대안을 제공한다.
• 메트릭 프로젝션의 국소 리프시츠 성질이 성립하는 이웃 영역(예: 프록시 정규성 조건 하에서)에서는 측도 $\nu$ 가 0이 되며, 이는 제약 집합 근처의 고확률 영역에서 편향을 유 bounds 하는 길을 제시한다.