[논문 리뷰] Robust and efficient estimation of high dimensional scatter and location

Ricardo A. Maronna, Vı́ctor J. Yohai|arXiv (Cornell University)|2015. 04. 13.

Advanced Statistical Methods and Models참고 문헌 21인용 수 5

한 줄 요약

이 논문은 고차원 다변량 위치 및 산란 행렬에 대한 강건하고 효율적인 추정기들을 제안하며, 비단조화 가중치 함수를 가진 S-추정기(Rocke형)와 MM-추정기를 중심으로 다룬다. 연구는 Peña와 Prieto가 제안한 반결정적 절차를 초기화로 사용할 경우 Rocke 추정기가 $ p \geq 15 $에서 높은 효율성과 강건성을 동시에 확보함을 보이며, $ p < 15 $에서는 MM-추정기가 기존의 MCD 및 MVE 추정기보다 효율성과 이상치에 대한 저항력 면에서 뛰어나게 성능을 발휘함을 밝혀낸다.

ABSTRACT

We deal with the equivariant estimation of scatter and location for p-dimensional data, giving emphasis to scatter. It it important that the estimators possess both a high efficiency for normal data and a high resistance to outliers, that is, a low bias under contamination. The most frequently employed estimators are not quite satisfactory in this respect. The Minimum Volume Ellipsoid (MVE) and Minimum Covariance Determinant (MCD) estimators are known to have a very low efficiency. S-Estimators (Davies 1987) with a monotonic weight function like the bisquare behave satisfactorily for "small" p, say p not larger than 10. Rocke (1996) showed that their efficiency tends to one with increasing p. Unfortunately, this advantage is paid with a serious loss of robustness for large p. We consider three families of estimators with controllable efficiencies: non-monotonic S-estimators (Rocke 1996), MM-estimators (Tatsuoka and Tyler 2000) and tau-estimators (Lopuhaa 1991), whose performance for large p has not been explored to date. Two types of starting estimators are employed: the MVE computed through subsampling, and a semi-deterministic procedure proposed by Peña and Prieto (2007) for outlier detection. A simulation study shows that the Rocke and MM estimators starting from the Peña-Prieto estimator and with an adequate tuning, can simultaneously attain high efficiency and high robustness.

연구 동기 및 목표

• 기존의 동치성 추정기들이 고차원 환경에서 효율성이 낮거나, 단조가중치 함수를 가진 S-추정기들이 차원 수가 증가함에 따라 강건성이 떨어지는 문제를 해결하기 위해 고차원 설정에서의 한계를 해결한다.
• 고차원 오염 상황에서 네 가지 추정기 가족—비단조화 S-추정기(Rocke형), MM-추정기, $\tau$-추정기, Stahel-Donoho 추정기—를 평가하고 비교한다.
• 시작 추정기의 선택이 계산 효율성과 통계적 성능에 미치는 영향을 평가하며, 특히 서브샘플링과 반결정적 Peña-Prieto 방법 간의 비교를 중심으로 한다.
• 정규 분포 자료에 대한 높은 효율성과 오염 상황에서의 낮은 편향을 동시에 확보할 수 있도록 최적의 튜닝 상수와 가중치 함수를 도출한다.
• 차원 수 $ p $ 에 기반한 추정기 선택을 위한 경험적 지침을 수립하며, $ p \geq 15 $에는 Rocke 추정기를, $ p < 15 $에는 MM-추정기를 권장한다.

제안 방법

• 비단조화 가중치 함수를 S-추정에 적용하며, 특히 Rocke(1996)의 접근 방식을 사용하여 고차원에서의 효율성을 향상시키면서도 강건성을 유지한다.
• MM-추정기를 활용하여 고파산도 초기 추정과 고효율 재가중치 처리를 조합하며, 맨할탄비스 거리의 강건한 척도를 기반으로 한다.
• Peña와 Prieto(2007)가 제안한 반결정적 시작 절차를 적용하여 이상치 탐지 성능을 향상시키며, 서브샘플링 대비 계산 속도 향상과 추정 정확도 향상을 달성한다.
• 오염 상황 하에서 기대 편향을 측정하기 위해 쿨백-라이블러 발산을 사용하며, 이는 파손점 수준 외에도 보완적인 강건성 평가 지표로 기능한다.
• Stahel-Donoho 추정기에는 유한한 방향 집합을 적용하며, 딱딱한 기각 가중치 함수 $ W(t) = \mathbf{1}(t \leq \beta) $ 를 사용하고, KSD 변형에서는 곡률 기반 방향 선택에 집중한다.
• 유한 표본 효율성과 강건성 지표를 모두 사용하여 다양한 차원 수 $ p $, 오염 수준, 표본 크기에서 추정기들을 종합적으로 비교하는 시뮬레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 비단조화 S-추정기(Rocke형)는 고차원 설정($ p \geq 15 $)에서 동시에 높은 효율성과 높은 강건성을 달성할 수 있는가?
• RQ2 시작 추정기 선택—서브샘플링 대비 Peña-Prieto 방법—이 강건한 산란 및 위치 추정기의 성능에 어떤 영향을 미치는가?
• RQ3 저차원 자료($ p < 15 $)에서 MM-추정기는 효율성과 강건성 면에서 다른 동치성 추정기보다 뛰어나게 성능을 발휘하는가?
• RQ4 타원형 분포에 대한 점질량 오염 하에서 KSD 추정기의 이론적 강건성(쿠르바크-라이블러 발산 및 파손점 수준 기준)은 어떠한가?
• RQ5 다양한 차원에서 정규 분포 자료에 대한 높은 효율성과 오염 상황에서의 낮은 편향을 균형 있게 확보할 수 있도록 튜닝 상수를 설정할 수 있는가?

주요 결과

• Peña-Prieto 절차로 초기화하고 적절히 튜닝된 Rocke 추정기는 $ p \geq 15 $에서 높은 효율성과 높은 강건성을 동시에 확보하며, 이 영역에서 단조가중치 함수를 가진 S-추정기 및 MCD보다 뛰어난 성능을 보인다.
• $ p < 15 $에서는 MCD 및 MVE와 같은 다른 방법들과 비교해도 효율성과 강건성이 뛰어나기 때문에 MM-추정기를 권장한다.
• 반결정적 Peña-Prieto 시작 절차는 MCD 및 기타 반복 추정기의 경우 표준 서브샘플링 대비 계산 시간을 단축시키고 추정 정확도를 향상시킨다.
• 단조가중치 함수를 가진 S-추정기(예: 비스쿼어)는 소규모 $ p $ 에서 효율성이 낮고, $ p $ 가 증가함에 따라 효율성은 증가하지만 고차원에서는 강건성이 떨어진다.
• 이론적 분석 결과, 곡률 기반 방향 선택과 딱딱한 기각 가중치 함수를 사용하는 KSD 추정기는 단변량 추정기 $ \mu $ 및 $ \sigma $ 가 각각 0.5 파손점 성질을 갖는다면 점질량 오염 하에서 파손점 수준이 0.5에 도달함을 보여준다.
• 시뮬레이션 연구 결과, Peña-Prieto 시작 절차를 사용한 Rocke 추정기는 $ p \geq 15 $에서 중간 크기의 표본 크기 조건에서도 오염 상황 하에서 낮은 편향과 높은 효율성을 유지함을 확인하였다.