[논문 리뷰] New Algorithms for $M$-Estimation of Multivariate Location and Scatter

Lutz Duembgen, Klaus Nordhausen외 1명|arXiv (Cornell University)|2013. 12. 23.

Advanced Statistical Methods and Models참고 문헌 4인용 수 4

한 줄 요약

이 논문은 이차 테일러 전개와 부분 뉴턴-라프슨 절차를 사용하여 다변량 위치 및 산란의 M-추정을 위한 더 빠른 알고리즘을 제안하며, 고정점 방법에 비해 계산 속도를 크게 향상시킨다. 또한 완전하지 않은 U-통계량을 활용하여 대칭화된 M-추정기의 계산 속도를 더욱 높여 고차원 설정에서 효율적인 강건한 다변량 추정을 가능하게 한다.

ABSTRACT

We present new algorithms for $M$-estimators of multivariate scatter and location and for symmetrized $M$-estimators of multivariate scatter. The new algorithms are considerably faster than currently used fixed-point and related algorithms. The main idea is to utilize a second order Taylor expansion of the target functional and to devise a partial Newton-Raphson procedure. In connection with symmetrized $M$-estimators we work with incomplete $U$-statistics to accelerate our procedures initially.

연구 동기 및 목표

• 기존의 다변량 위치 및 산란에 대한 M-추정을 위한 고정점 알고리즘의 계산 비효율성을 해결하기 위해.
• 대칭화된 M-추정기의 다변량 산란에 대한 더 빠르고 확장 가능한 알고리즘을 개발하기 위해.
• 이차 근사와 완전하지 않은 U-통계량을 활용하여 강건한 다변량 추정의 계산 비용을 줄이기 위해.
• 고차원 데이터 설정에서 강건한 M-추정기의 실용적 적용을 가능하게 하기 위해.

제안 방법

• 목표 기능의 이차 테일러 전개를 사용하여 목적 함수를 더 정확하게 근사한다.
• 수렴 속도를 향상시키기 위해 부분 뉴턴-라프슨 절차를 반복적으로 적용하여 추정치를 업데이트한다.
• 대칭화된 M-추정기의 경우, 초기 단계에서 계산 부담을 줄이기 위해 완전하지 않은 U-통계량을 적용한다.
• M-추정기의 강건성 특성을 유지하면서도 계산 효율성을 높이기 위해 알고리즘 설계에 초점을 맞춘다.
• 샘플링 기반 근사 방법을 사용하여 U-통계량의 모든 쌍별 항을 전부 계산하지 않도록 방지한다.

실험 결과

연구 질문

• RQ1 이차 테일러 전개는 다변량 산란 및 위치에 대한 M-추정 알고리즘의 수렴 속도를 향상시킬 수 있는가?
• RQ2 추정 정확도를 희생시키지 않고 대칭화된 M-추정기의 계산 비용을 어떻게 줄일 수 있는가?
• RQ3 부분 뉴턴-라프슨 업데이트가 다변량 M-추정에서 기존의 고정점 반복보다 얼마나 더 우수한가?
• RQ4 완전하지 않은 U-통계량은 고차원에서 대칭화된 M-추정을 효과적으로 가속화하는 데 사용될 수 있는가?

주요 결과

• 제안된 알고리즘은 다변량 산란 및 위치에 대한 M-추정에서 표준 고정점 방법에 비해 훨씬 더 빠른 수렴을 달성한다.
• 이차 테일러 전개의 사용은 더 정확한 국소 근사를 가능하게 하여 더 빠른 반복 업데이트를 이끈다.
• 부분 뉴턴-라프슨 절차는 수렴을 위해 필요한 반복 수를 줄인다.
• 완전하지 않은 U-통계량은 대칭화된 M-추정기의 초기 추정에서 계산적으로 효율적인 대안을 제공한다.