[논문 리뷰] Minimax estimation of a p-dimensional linear functional in sparse Gaussian models and robust estimation of the mean

Olivier Collier, Arnak S. Dalalyan|arXiv (Cornell University)|2017. 12. 15.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 고차원 희박 가우시안 모형에서 p차원 선형 기능의 최소최대 추정을 다루며, 그룹 임계값 추정기들이 $ s^2\sqrt{p} + sp $의 속도를 달성함을 보이며, 이는 성분별 임계값의 $ s^2p + sp $보다 다항식적 향상이다. 또한 이 문제와 강력한 평균 추정 간의 깊은 연관성을 규명하고, 외곽치가 존재하는 상황에서 내재된 관측치에 대해 계산적으로 효율적이고 개선된 속도를 갖는 추정기를 제안한다.

ABSTRACT

We consider two problems of estimation in high-dimensional Gaussian models. The first problem is that of estimating a linear functional of the means of $n$ independent $p$-dimensional Gaussian vectors, under the assumption that most of these means are equal to zero. We show that, up to a logarithmic factor, the minimax rate of estimation in squared Euclidean norm is between $(s^2\wedge n) +sp$ and $(s^2\wedge np)+sp$. The estimator that attains the upper bound being computationally demanding, we investigate suitable versions of group thresholding estimators that are efficiently computable even when the dimension and the sample size are very large. An interesting new phenomenon revealed by this investigation is that the group thresholding leads to a substantial improvement in the rate as compared to the element-wise thresholding. Thus, the rate of the group thresholding is $s^2\sqrt{p}+sp$, while the element-wise thresholding has an error of order $s^2p+sp$. To the best of our knowledge, this is the first known setting in which leveraging the group structure leads to a polynomial improvement in the rate. The second problem studied in this work is the estimation of the common $p$-dimensional mean of the inliers among $n$ independent Gaussian vectors. We show that there is a strong analogy between this problem and the first one. Exploiting it, we propose new strategies of robust estimation that are computationally tractable and have better rates of convergence than the other computationally tractable robust (with respect to the presence of the outliers in the data) estimators studied in the literature. However, this tractability comes with a loss of the minimax-rate-optimality in some regimes.

연구 동기 및 목표

• 고차원 희박 가우시안 모형에서 p차원 선형 기능을 추정하기 위한 최소최대 하한과 상한을 유도하는 것.
• 탐욕적 부분집합 선택, 그룹 임계값 추정기, 성분별 임계값 추정기 간의 계산적·통계적 상호 교환 관계를 조사하는 것.
• 외곽치 존재 하에서 선형 기능 추정과 강력한 평균 추정 간의 새로운 연관성을 설정하는 것.
• 기존 방법보다 더 나은 수렴 속도를 갖는 계산적으로 실현 가능한 새로운 강력한 추정기를 제안하는 것.
• 그룹 구조를 활용할 경우 추정 속도에 다항식적 향상이 이루어지며, 이는 이전에 희박 추정에서 관찰되지 않은 현상임을 보여주는 것.

제안 방법

• 비점근적 최소최대 하한을 유도하여 추정 위험의 속도가 로그 인자들을 제외하고 $ sp + s^2 \wedge n $임을 보임.
• 세 가지 추정기 유형을 분석: 탐욕적 부분집합 선택(GSS), 그룹 하드/소프트 임계값(GHT/GST), 성분별 임계값(HT)으로 각각의 위험 한계를 도출함.
• 카이제곱 및 가우시안 랜덤 행렬의 끝자락 경계를 사용하여 고차원 설정에서의 추정 오차를 제어함.
• 선형 기능 추정 문제와 강력한 평균 추정 간의 이중성 구조를 보여줌으로써 동일한 통계적 구조를 규명함.
• 외곽치를 다룰 수 있도록 그룹 임계값 원리에 기반한 새로운 강력한 추정 전략을 제안함.
• 행렬 농도 및 랜덤 행렬 이론(예: 버시니의 경계)을 활용하여 분석에서의 연산자 노름과 잔차 항을 제어함.

실험 결과

연구 질문

• RQ1 n개의 독립 관측치를 가진 고차원 희박 가우시안 모형에서 p차원 선형 기능의 최소최대 추정 속도는 무엇인가요?
• RQ2 그룹 임계값 추정기의 성능은 성분별 임계값에 비해 추정 위험과 계산 효율성 측면에서 어떻게 다릅니까?
• RQ3 선형 기능 추정 문제의 구조를 활용하여 오염된 환경에서의 강력한 평균 추정을 향상시킬 수 있나요?
• RQ4 그룹 임계값 추정기가 최소최대 속도로 최적화되는 영역는 언제이며, 탐욕적 부분집합 선택과 비교해보면 어떻게 되나요?
• RQ5 고차원 희박성 하에서 강력한 평균 추정의 계산 가능성과 최소최대 최적성 간의 상호 교환 관계는 어떠한가요?

주요 결과

• p차원 선형 기능 추정의 최소최대 위험은 로그 인자들을 제외하고 $ (s^2 \wedge n) + sp $와 $ (s^2 \wedge np) + sp $ 사이로 제한됨.
• 그룹 임계값 추정기는 $ s^2\sqrt{p} + sp $의 위험을 달성하며, 이는 성분별 임계값의 $ s^2p + sp $보다 다항식적 향상이며, 속도 비율은 최소 $ O(p^{-1/2}) $까지 가능함.
• 탐욕적 부분집합 선택은 희박 영역 $ s = O(p \vee \sqrt{n}) $에서 최소최대 속도로 최적화되지만, 대규모 문제에서는 계산적으로 비현실적임.
• 그룹 임계값 추정기는 초희박 영역 $ s = O(\sqrt{p}) $에서 최소최대 속도로 최적화되며, 통계적 최적성과 계산 효율성을 모두 확보함.
• 그룹 임계값 원리에 기반한 제안된 강력한 평균 추정 전략은 기존의 계산적으로 실현 가능한 강력한 추정기보다 더 나은 수렴 속도를 달성함.
• 비록 개선된 속도를 보이지만, 제안된 강력한 추정기는 모든 영역에서 최소최대 속도로 최적화되지는 않으며, 이는 실현 가능성과 최적성 사이의 상호 교환 관계를 시사함.