[논문 리뷰] Analytic Bias Reduction for $k$-Sample Functionals

Christopher S. Withers, Saralees Nadarajah|ArXiv.org|2009. 03. 17.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 von Mises 도함수를 이용해 k-표본 기능에 대한 분석적 비모수적 편향 감소 방법을 제안하며, 차수 $2p-2$까지의 도함수를 사용하여 $p$번째 차수의 편향 감소를 실현한다. 이는 $O(N)$의 계산 비용으로만 이루어지며, 부트스트랩이나 잭나이프 방법과는 달리 $O(N^p)$의 비용을 가지는 것보다 훨씬 효율적이다. 이 방법은 다항카이, 모멘트와 같은 기능에 대해 간결하고 편향이 없는 추정치를 제공하며, 세 차수까지의 비대칭성과 첨도에 대한 명시적 공식을 포함한다.

ABSTRACT

We give analytic methods for nonparametric bias reduction that remove the need for computationally intensive methods like the bootstrap and the jackknife. We call an estimate {\it $p$th order} if its bias has magnitude $n_0^{-p}$ as $n_0 o \infty$, where $n_0$ is the sample size (or the minimum sample size if the estimate is a function of more than one sample). Most estimates are only first order and require O(N) calculations, where $N$ is the total sample size. The usual bootstrap and jackknife estimates are second order but they are computationally intensive, requiring $O(N^2)$ calculations for one sample. By contrast Jaeckel's infinitesimal jackknife is an analytic second order one sample estimate requiring only O(N) calculations. When $p$th order bootstrap and jackknife estimates are available, they require $O(N^p)$ calculations, and so become even more computationally intensive if one chooses $p>2$. For general $p$ we provide analytic $p$th order nonparametric estimates that require only O(N) calculations. Our estimates are given in terms of the von Mises derivatives of the functional being estimated, evaluated at the empirical distribution. For products of moments an unbiased estimate exists: our form for this "polykay" is much simpler than the usual form in terms of power sums.

연구 동기 및 목표

• k-표본 기능에 대한 계산 비용이 효율적이고 분석적인 비모수적 편향 감소 방법을 개발하기 위해.
• 고차수 편향 감소를 위해 계산 비용이 높은 재표본 추출 방법(예: 부트스트랩, 잭나이프)에 의존하지 않도록 하기 위해.
• von Mises 도함수를 이용해 다항카이, 원산도, 모멘트와 같은 기능의 편향이 없는 추정치에 대한 명시적이고 간결한 공식을 제공하기 위해.
• 비모수적 설정을 초월하여 다수의 분포에 대한 일반적인 매끄러운 기능으로의 분석적 편향 감소의 적용 범위를 확장하기 위해.
• 비대칭성과 첨도에 대해 세 차수까지의 명시적 유도를 통해 이 방법의 효율성과 정확성을 입증하기 위해.

제안 방법

• 이 방법은 기능 $T(F)$의 von Mises 도함수를 차수 $2p-2$까지 구하고, 이를 경험 분포 $\widehat{F}$에서 평가하여 무한 급수의 절단된 형태를 통해 $p$번째 차수 추정치를 구성한다.
• 세 가지 형태의 추정치—S, T, V—가 유도되며, $p > 2$일 경우 S-추정치가 필요한 항의 수가 적어 최적의 성능을 보인다.
• S-추정치는 $p=2$일 때 Jaeckel의 무한소 잭나이프로 축소됨을 보여주며, 분석적 방법과 재표본 추출 방법 간의 직접적인 연결을 확립한다.
• 다항식 형태의 모멘트(예: 다항카이)에 대해선 대칭 다항식 표를 사용하지 않고도 닫힌 형태의 편향 없는 추정치를 도출한다.
• 기능 도함수(영향 함수)와 그 고차수 일반화를 사용하며, 첫 번째 도함수를 초월한 일致성을 확보하기 위해 보정 항을 포함한다.
• 비대칭성과 첨도에 대해 세 차수까지의 명시적 공식을 유도하며, 이는 원산도와 표준화된 모멘트 $\beta_r$로 표현된다.

실험 결과

연구 질문

• RQ1 분석적 편향 감소 방법이 $O(N)$의 계산 비용으로 k-표본 기능에 대해 $p$번째 차수의 편향 감소를 실현할 수 있는가? 이는 부트스트랩 및 잭나이프 방법의 $O(N^p)$ 비용을 피하는가?
• RQ2 차수 $2p-2$까지의 von Mises 도함수를 어떻게 활용하여 다수의 분포에 대한 매끄러운 기능의 편향 없는 추정치를 구성할 수 있는가?
• RQ3 제안된 S-추정치와 $p=2$일 때의 Jaeckel의 무한소 잭나이프 간의 관계는 무엇인가?
• RQ4 이 방법이 다항카이와 모멘트의 편향 없는 추정치에 대해 간결하고 명시적인 공식을 도출할 수 있는가? 이는 거듭제곱 합 표에 의존하지 않는가?
• RQ5 표준화된 모멘트를 기반으로 한 비대칭성과 첨도에 대해 세 차수까지의 편향 보정된 표현식은 무엇인가?

주요 결과

• 제안된 분석적 $p$번째 차수 추정치는 오직 $O(N)$의 계산 비용으로만 $O(n_0^{-p})$의 편향을 실현하며, 부트스트랩 및 잭나이프 방법 대비 $O(n_0^{p-1})$의 속도 향상을 제공한다.
• $p=2$일 경우 S-추정치는 Jaeckel의 무한소 잭나이프로 축소되며, 분석적 방법과 재표본 기반 편향 감소 간의 직접적 연결을 확립한다.
• S-추정치는 전통적인 거듭제곱 합 기반 공식보다 다항카이에 대해 훨씬 단순한 표현을 제공하며, 대칭 다항식 표를 사용하지 않아도 된다.
• 비대칭성과 첨도에 대해 세 차수까지의 명시적 편향 보정 표현식이 도출되었으며, $T[2]$, $T[3]$, $T[2^2]$는 표준화된 모멘트 $\beta_r$로 표현된다.
• 이 방법은 모멘트와 원산도의 곱을 효과적으로 처리하며, 계산 비용이 적고 분석적으로 다룰 수 있는 편향 없는 추정치를 도출한다.
• 고차수 von Mises 도함수의 유도 과정에 필요한 보정 항이 포함되어 있어, 원래 정의에서의 모호성을 제거하고 고차수 전개의 일致성을 확보한다.