[論文レビュー] Rigorous Guarantees for Tyler's M-estimator via quantum expansion

Cole Franks, Ankur Moitra|arXiv (Cornell University)|Jan 31, 2020

Statistical Mechanics and Entropy参考文献 28被引用数 8

ひとこと要約

この論文は、楕円分布におけるTylerのM推定量の形状行列について、非漸近的保証を初めて確立した。これは、作用素スケーリングと量子拡張子の関連によって達成された。推定量が次元の対数要因を除き最適収束速度を達成することを証明し、正則化なしに反復アルゴリズムが線形収束することを示し、ロバスト統計における長年の未解決問題を解決した。

ABSTRACT

Estimating the shape of an elliptical distribution is a fundamental problem in statistics. One estimator for the shape matrix, Tyler's M-estimator, has been shown to have many appealing asymptotic properties. It performs well in numerical experiments and can be quickly computed in practice by a simple iterative procedure. Despite the many years the estimator has been studied in the statistics community, there was neither a tight non-asymptotic bound on the rate of the estimator nor a proof that the iterative procedure converges in polynomially many steps. Here we observe a surprising connection between Tyler's M-estimator and operator scaling, which has been intensively studied in recent years in part because of its connections to the Brascamp-Lieb inequality in analysis. We use this connection, together with novel results on quantum expanders, to show that Tyler's M-estimator has the optimal rate up to factors logarithmic in the dimension, and that in the generative model the iterative procedure has a linear convergence rate even without regularization.

研究の動機と目的

• TylerのM推定量の理論的理解における重要なギャップ、特に存在性、一意性、有限標本性能の解明。
• スペクトルノルムにおける形状行列推定のための非漸近的上界としての標本複雑度を初めて確立し、ガウス分布の場合と同等の性能を達成。
• 正則化なしにTylerの反復的アルゴリズムの線形収束を厳密に証明し、長年の未解決問題を解決。
• TylerのM推定量と作用素スケーリングの間の新しい関係を確立し、量子情報理論における量子拡張子の道具を活用。

提案手法

• TylerのM推定量と作用素スケーリングの間の驚くべき関係を確立し、推定量がデータサンプルから構築された線形作用素のスケーリングとして現れることを示した。
• 量子拡張子理論を用い、特にデータから誘導される量子チャネルのスペクトルギャップ特性を用いて収束性と誤差バウンドを分析した。
• 量子拡張子に関する新規結果を応用し、逆指数的失敗確率と対数要因を除き最適な収束レートを導出した。
• 作用素スケーリングアルゴリズムとその収束保証を活用し、反復的手順が多項式時間で線形レートで収束することを示した。
• 作用素ノルムにおける反復的手順の収束を分析するため、正規化されたSinkhorn反復フレームワークを導入した。
• 行列濃縮と摂動バウンド（補題C.1およびC.2を用いて）を適用し、スケーリングされた作用素の誤差を形状行列推定のスペクトルノルムに関連づけた。

実験結果

リサーチクエスチョン

• RQ1 TylerのM推定量の存在および一意性に必要な十分条件は何か？
• RQ2 スペクトルノルム推定のための非漸近的上界としての標本複雑度を確立できるか？ガウス分布の場合と同等の性能が達成できるか？
• RQ3 Tylerの反復的アルゴリズムは正則化なしに線形レートで収束するか？
• RQ4 量子拡張子理論をどのように応用することで、ロバスト共分散推定における収束保証を改善できるか？

主な発見

• 本論文では、TylerのM推定量が次元の対数要因を除き最適収束速度に達することを証明した。誤差バウンドは $ O(rac{ ext{polylog}(p)}{ ext{標本サイズ}}) $ のオーダーである。
• 反復的手順によるTylerのM推定量の計算が、正則化なしに作用素ノルムにおいて線形収束することを確立した。誤差 $ ho $ に対する収束時間は $ O( ext{polylog}(1/ ho)) $ である。
• TylerのM推定量の存在および一意性が、正規化されたデータ点のうち非自明な部分空間に割合 $ k/p $ が含まれないという条件と同値であることが示された。これは長年の未解決問題を解決した。
• 適切な標本サイズの条件下では、推定量の失敗確率は次に示す通り逆指数的である：$ O(e^{-q(p,n,c/ ext{log} p)}) $。
• スペクトルノルム推定における最適な標本複雑度を達成し、次元の対数要因を除きガウス分布の場合と同等の性能を示した。
• 解析により、正則化なしに反復的手順が多項式時間で線形レートで収束することを初めて厳密に証明した。