[論文レビュー] Minimax estimation of a p-dimensional linear functional in sparse Gaussian models and robust estimation of the mean

Olivier Collier, Arnak S. Dalalyan|arXiv (Cornell University)|Dec 15, 2017

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、高次元スパースガウスモデルにおけるp次元線形関数のミニマックス推定を研究し、グループスレッショルド推定量が $ s^2\sqrt{p} + sp $ のレートを達成することを示している。これは、成分別スレッショルド推定量の $ s^2p + sp $ よりも多項式的改善である。さらに、本問題とロバスト平均推定の間の強い関連性を確立し、外れ値が存在する状況下でのインライヤーに対する計算的に効率的で、レートが改善された推定量を提案する。

ABSTRACT

We consider two problems of estimation in high-dimensional Gaussian models. The first problem is that of estimating a linear functional of the means of $n$ independent $p$-dimensional Gaussian vectors, under the assumption that most of these means are equal to zero. We show that, up to a logarithmic factor, the minimax rate of estimation in squared Euclidean norm is between $(s^2\wedge n) +sp$ and $(s^2\wedge np)+sp$. The estimator that attains the upper bound being computationally demanding, we investigate suitable versions of group thresholding estimators that are efficiently computable even when the dimension and the sample size are very large. An interesting new phenomenon revealed by this investigation is that the group thresholding leads to a substantial improvement in the rate as compared to the element-wise thresholding. Thus, the rate of the group thresholding is $s^2\sqrt{p}+sp$, while the element-wise thresholding has an error of order $s^2p+sp$. To the best of our knowledge, this is the first known setting in which leveraging the group structure leads to a polynomial improvement in the rate. The second problem studied in this work is the estimation of the common $p$-dimensional mean of the inliers among $n$ independent Gaussian vectors. We show that there is a strong analogy between this problem and the first one. Exploiting it, we propose new strategies of robust estimation that are computationally tractable and have better rates of convergence than the other computationally tractable robust (with respect to the presence of the outliers in the data) estimators studied in the literature. However, this tractability comes with a loss of the minimax-rate-optimality in some regimes.

研究の動機と目的

• 高次元スパースガウスモデルにおけるp次元線形関数の推定に関するミニマックス下界と上界を導出すること。
• グリーディサブセット選択、グループスレッショルド、成分別スレッショルド推定量の間の計算的・統計的トレードオフを調査すること。
• 外れ値が存在する状況下での平均のロバスト推定と線形関数推定の間の新しい関連性を確立すること。
• 従来の手法と比較して収束レートが改善された、計算的に取り扱いやすい新しいロバスト推定量を提案すること。
• グループ構造を活用することで、スパース推定においてこれまで観察されていなかった多項式的改善が得られることを示すこと。

提案手法

• 推定リスクの非漸近的ミニマックス下界を導出し、対数要因を除けばレートが $ sp + s^2 \wedge n $ であることを示す。
• 3種類の推定量（グリーディサブセット選択（GSS）、グループハード/ソフトスレッショルド（GHT/GST）、成分別スレッショルド（HT））を分析し、それぞれのリスクバウンドを導出する。
• カイ二乗分布およびガウス型ランダム行列の濃度不等式と尾部バウンドを用いて、高次元設定における推定誤差を制御する。
• 統計的構造が同等であることを示すことにより、線形関数推定問題とロバスト平均推定の間の双対性を確立する。
• グループスレッショルドの原則に基づいた新しいロバスト推定戦略を提案し、高次元データにおける外れ値に対処できるように適応する。
• 行列濃度およびランダム行列理論（例えば、Vershyninのバウンド）を用いて、演算子ノルムと残差項を分析で制御する。

実験結果

リサーチクエスチョン

• RQ1 n個の独立な観測を持つ高次元スパースガウスモデルにおいて、p次元線形関数のミニマックス推定レートは何か？
• RQ2 推定リスクと計算効率の観点から、グループスレッショルドと成分別スレッショルドの性能はどのように比較されるか？
• RQ3 線形関数推定問題の構造を活用することで、混合が存在する状況下での平均のロバスト推定を改善できるか？
• RQ4 グループスレッショルドがミニマックスレート最適であるとされる状況はどのようなものか？また、グリーディサブセット選択と比較するとどうなるか？
• RQ5 高次元スパース性下でのロバスト平均推定において、計算的取り扱いやすさとミニマックス最適性のトレードオフは何か？

主な発見

• p次元線形関数のミニマックスリスクは、対数要因を除けば $ (s^2 \wedge n) + sp $ から $ (s^2 \wedge np) + sp $ の間で有界である。
• グループスレッショルドは $ s^2\sqrt{p} + sp $ のリスクを達成し、これは成分別スレッショルドの $ s^2p + sp $ よりも多項式的改善であり、レート比は $ O(p^{-1/2}) $ まで低下する。
• グリーディサブセット選択はスパース領域 $ s = O(p \vee \sqrt{n}) $ でミニマックスレート最適であるが、大規模問題では計算的に非現実的である。
• グループスレッショルドは超スパース領域 $ s = O(\sqrt{p}) $ でミニマックスレート最適であり、統計的最適性と計算的効率性の両方を満たす。
• グループスレッショルドに基づく新しいロバスト平均推定戦略は、既存の計算的に取り扱いやすいロバスト推定量よりも収束レートが優れている。
• 改善されたレートを達成しているが、すべての状況でミニマックスレート最適ではないため、取り扱いやすさと最適性のトレードオフが存在することが示された。