[논문 리뷰] Divide and Conquer in Non-standard Problems and the Super-efficiency Phenomenon

Moulinath Banerjee, Cécile Durot외 1명|arXiv (Cornell University)|2016. 05. 14.

Advanced Statistical Methods and Models참고 문헌 21인용 수 8

한 줄 요약

이 논문은 등산 회귀와 같은 비표준 문제에서 입체근 수렴을 보이는 분할정복 추정에 대해 연구한다. 풀이된 추정치를 평균화함으로써 유의미한 분산을 갖는 점근정규 분포를 가진 추정치를 도출할 수 있으며, 이는 전역 추정치보다 점별로 더 효율적이지만, 균일 성능 저하의 대가를 지ay는 초과효율 현상(super-efficiency phenomenon)을 보인다.

ABSTRACT

We study how the divide and conquer principle --- partition the available data into subsamples, compute an estimate from each subsample and combine these appropriately to form the final estimator --- works in non-standard problems where rates of convergence are typically slower than $\sqrt{n}$ and limit distributions are non-Gaussian, with a special emphasis on the least squares estimator (and its inverse) of a monotone regression function. We find that the pooled estimator, obtained by averaging non-standard estimates across the mutually exclusive subsamples, outperforms the non-standard estimator based on the entire sample in the sense of pointwise inference. We also show that, under appropriate conditions, if the number of subsamples is allowed to increase at appropriate rates, the pooled estimator is asymptotically normally distributed with a variance that is empirically estimable from the subsample-level estimates. Further, in the context of monotone function estimation we show that this gain in pointwise efficiency comes at a price --- the pooled estimator's performance, in a uniform sense (maximal risk) over a class of models worsens as the number of subsamples increases, leading to a version of the super-efficiency phenomenon. In the process, we develop analytical results for the order of the bias in isotonic regression, which are of independent interest.

연구 동기 및 목표

• 비정규 극한과 느린 수렴 속도를 보이는 비표준 통계 문제에서 분할정복 전략의 행동을 연구하기 위해.
• 등산 회귀에서 전역 추정치와 비교해 하위표본 추정치를 융합함으로써 점별 추론 효율성이 향상되는지 분석하기 위해.
• 증가하는 하위표본 수에 따라 풀이된 추정치의 점근정규성과 분산 추정 가능성에 대해 연구하기 위해.
• 특히 초과효율 현상이 나타나는 점별 효율성과 균일 효율성 간의 상충관계를 조사하기 위해.

제안 방법

• 전체 표본을 상호배타적인 하위표본으로 나누고, 각 하위표본에서 단조성 회귀 함수의 최소제곱추정치(LSE)를 계산하기 위해.
• 하위표본 수준의 추정치를 단순 평균화하여 풀이된 추정치를 구성하기 위해.
• 중심화된 하위표본 통계량의 합에 대해 린드베르크 조건을 검증함으로써 풀이된 추정치의 점근정규성을 확립하기 위해.
• 이동하는 브라운 운동 이론과 등산 회귀의 argmin 특성화를 이용해 극한 분포를 도출하기 위해.
• 이동하는 과정의 최소화자와 그 일반화된 누적 주도량 사이의 전환 관계를 적용하여 추정치의 행동을 분석하기 위해.
• 입체근 수렴 하에서 등산 회귀의 편향에 대한 해석적 표현을 유도하기 위해. 이는 별개의 관심사로도 중요하다.

실험 결과

연구 질문

• RQ1 비표준 문제에서 하위표본 추정치를 융합하면 전역 추정치에 비해 점별 효율성이 향상되는가?
• RQ2 증가하는 하위표본 수에 따라 풀이된 추정치가 점근정규 분포를 띠며, 경험적으로 추정 가능한 분산을 갖는가?
• RQ3 하위표본 수의 증가가 풀이된 추정치의 균일 위험에 어떤 영향을 미치는가?
• RQ4 하위표본 수가 증가함에 따라 풀이된 추정치가 균일 성능 저하의 관점에서 초과효율성을 보이는가?
• RQ5 입체근 수렴 하에서 등산 회귀의 정확한 편향 순서는 무엇인가?

주요 결과

• 하위표본 수가 적절한 비율로 증가함에 따라, 하위표본 수준의 추정치로부터 유도된 평균화된 추정치는 경험적으로 추정 가능한 분산을 갖는 점근정규 분포를 따르며, 이는 점근적으로 성립한다.
• 전역 추정치가 느린 입체근 수렴 속도를 보임에도 불구하고, 풀이된 추정치는 전역 추정치보다 점별 추론 효율성이 뛰어나다.
• 하위표본 수가 증가함에 따라, 단조성 회귀 함수의 클래스에 대해 풀이된 추정치의 균일 위험(최대 위험)이 증가함을 보여, 균일 성능 저하가 발생함을 시사한다.
• 이 논문은 초과효율 현상의 한 형태를 확립한다: 향상된 점별 효율성은 균일 행동의 악화라는 대가를 지불함으로써 달성된다.
• 등산 회귀에서 편향은 $ N^{-1/3} $의 순서를 가지며, 이 논문은 이러한 편향에 대한 해석적 표현을 도출하였으며, 이는 별개의 관심사로도 중요하다.
• 정규 조건 하에서 중심화된 하위표본 통계량의 합에 대해 린드베르크 조건이 확인되었으며, 이는 풀이된 추정치의 점근정규성을 보장한다.