[논문 리뷰] Rigorous Guarantees for Tyler's M-estimator via quantum expansion

Cole Franks, Ankur Moitra|arXiv (Cornell University)|2020. 01. 31.

Statistical Mechanics and Entropy참고 문헌 28인용 수 8

한 줄 요약

이 논문은 타일러의 M-추정량의 형태 행렬에 대한 비점근적 보장을 처음으로 확립하며, 이를 바탕으로 연산자 스케일링과 양자 확장자와 연결함으로써, 차원에 대한 로그 인자까지 최적의 수렴 속도를 달성함을 증명한다. 반복 알고리즘이 정규화 없이 선형 수렴함을 보이며, 강건 통계에서 오랫동안 미해결이었던 문제를 해결한다.

ABSTRACT

Estimating the shape of an elliptical distribution is a fundamental problem in statistics. One estimator for the shape matrix, Tyler's M-estimator, has been shown to have many appealing asymptotic properties. It performs well in numerical experiments and can be quickly computed in practice by a simple iterative procedure. Despite the many years the estimator has been studied in the statistics community, there was neither a tight non-asymptotic bound on the rate of the estimator nor a proof that the iterative procedure converges in polynomially many steps. Here we observe a surprising connection between Tyler's M-estimator and operator scaling, which has been intensively studied in recent years in part because of its connections to the Brascamp-Lieb inequality in analysis. We use this connection, together with novel results on quantum expanders, to show that Tyler's M-estimator has the optimal rate up to factors logarithmic in the dimension, and that in the generative model the iterative procedure has a linear convergence rate even without regularization.

연구 동기 및 목표

• 타일러의 M-추정량에 대한 이론적 이해의 핵심적 격차를 메우기 위해 존재성, 유일성 및 유한표본 성능을 다룬다.
• 스펙트럼 노름에서 형태 행렬 추정에 대해 샘플 복잡도에 대한 첫 비점근적 상한을 제시하며, 가우시안 경우와 유사한 수준으로 제공한다.
• 정규화 없이 타일러의 반복 알고리즘이 선형 수렴함을 엄밀히 증명하여 오랫동안 미해결이었던 문제를 해결한다.
• 타일러의 M-추정량과 연산자 스케일링 사이의 새로운 연결 고리를 구축하며, 양자정보이론에서 유래한 양자 확장 도구를 활용한다.

제안 방법

• 데이터 샘플로부터 구성된 선형 연산자의 재스케일링으로서 타일러의 M-추정량이 나타남을 보여주는 놀라운 연결 고리를 확립하였다.
• 특히 데이터에 의해 유도된 양자 채널의 스펙트럼 간극 성질을 활용한 양자 확장 이론을 사용하여 수렴성과 오차 한계를 분석하였다.
• 최신의 양자 확장 결과를 적용하여 역지수적 실패 확률과 로그 인자까지 최적의 수렴 속도를 도출하였다.
• 연산자 스케일링 알고리즘과 그 수렴 보장을 활용하여 반복 절차가 다항 시간 내에 선형 속도로 수렴함을 보였다.
• 반복 절차의 수렴성을 연산자 노름에서 분석하기 위해 정규화된 싱크호른 반복 프레임워크를 도입하였다.
• 행렬 농도 및 변화량 경계(레미마 C.1 및 C.2를 통해)를 사용하여 스케일링된 연산자에서의 오차를 형태 행렬 추정의 스펙트럼 노름과 연결하였다.

실험 결과

연구 질문

• RQ1 타일러의 M-추정량의 존재성과 유일성을 위한 필수 및 필요조건은 무엇인가?
• RQ2 스펙트럼 노름 추정에 대해 샘플 복잡도에 대한 비점근적 상한을 확립할 수 있는가? 가우시안 경우와 유사한가?
• RQ3 타일러의 반복 알고리즘이 정규화 없이 선형 수렴 속도를 가지는가?
• RQ4 양자 확장 이론은 강건 공분산 추정에서 수렴 보장을 향상시키는 데 어떻게 적용될 수 있는가?

주요 결과

• 논문은 타일러의 M-추정량이 차원에 대한 로그 인자까지 최적의 수렴 속도를 달성함을 증명하며, 오차 한계가 $ O(rac{ ext{polylog}(p)}{ ext{샘플 크기}}) $ 수준임을 보였다.
• 반복 절차가 정규화 없이 연산자 노름에서 선형 수렴함을 입증하였으며, 오차 $ ho $ 에 대해 수렴 시간이 $ O( ext{polylog}(1/ ho)) $ 이내임을 보였다.
• 타일러의 M-추정량의 존재성과 유일성은, 정규화된 데이터 포인트의 분수 $ k/p $ 가 비자명한 부분공간에 포함되지 않는 조건과 동치임을 입증하였으며, 오랫동안 미해결이었던 문제를 해결하였다.
• 적절한 샘플 크기 조건 하에서 추정량의 실패 확률은 차원에 대해 역지수적임을 보였으며, 구체적으로 $ O(e^{-q(p,n,c/ ext{log} p)}) $ 이다.
• 스펙트럼 노름 추정에 대해 최적의 샘플 복잡도를 달성하였으며, 차원에 대한 로그 인자까지 가우시안 경우와 유사한 수준이다.
• 분석을 통해 정규화 없이도 반복 알고리즘이 다항 시간 내에 선형 속도로 수렴함을 처음으로 엄밀히 증명하였다.