[論文レビュー] Distribution-robust mean estimation via smoothed random perturbations

Matthew J. Holland|arXiv (Cornell University)|Jun 25, 2019

Statistical Methods and Inference参考文献 13被引用数 4

ひとこと要約

本稿では、滑らかなランダムノイズ（加法的または乗法的）をソフト打ち切りされた経験的平均に適用することで、閉形式での計算が可能となり、有限分散のもとでサブガウス型の逸脱バウンドを達成する、新たな分布に頑健な平均推定量のクラスを提案する。主な貢献は、サブガウス型の性能にほぼ等しい結果を多様な分布で達成する推定量の構築であり、指数的尾部バウンドは2次モーメントによって制御される。

ABSTRACT

We consider the problem of mean estimation assuming only finite variance. We study a new class of mean estimators constructed by integrating over random noise applied to a soft-truncated empirical mean estimator. For appropriate choices of noise, we show that this can be computed in closed form, and utilizing relative entropy inequalities, these estimators enjoy deviations with exponential tails controlled by the second moment of the underlying distribution. We consider both additive and multiplicative noise, and several noise distribution families in our analysis. Furthermore, we empirically investigate the sensitivity to the mean-standard deviation ratio for numerous concrete manifestations of the estimator class of interest. Our main take-away is that an inexpensive new estimator can achieve nearly sub-Gaussian performance for a wide variety of data distributions.

研究の動機と目的

• 有限分散のもとでサブガウス型または軽尾分布を仮定しない状況でも、強い逸脱保証を維持する平均推定量の開発。
• ソフト打ち切り経験的平均にランダムノイズを統合することで推定量のクラスを構築し、閉形式での計算を可能にする。
• これらの推定量が、重い尾を持つ分布に対してもサブガウス型推定量と同等の指数的尾部バウンドを達成することを示す。
• 有限標本設定における推定量の平均対標準偏差比および標本サイズへの感受性を評価する。

提案手法

• 推定量は、滑らかなノイズ分布の下でのソフト打ち切り経験的平均の期待値として定義され、特定のノイズ族に対して閉形式での計算が可能である。
• 相対エントロピー不等式を用いて逸脱バウンドを導出し、推定量の尾部挙動と元の分布の2次モーメントを結びつける。
• 加法的および乗法的ノイズモデルを別々に分析し、正規分布、ベルヌーイ分布、ワイブル分布、スチューデントt分布のノイズに対して閉形式の式を導出する。
• ディガマ関数およびガンマ分布の性質を用いて理論的バウンドを導出するが、特にスチューデントtノイズに対して重点を置く。
• 対数変換されたカイ二乗分布およびガンマ分布の変数がディガマ関数Ψを含む扱いやすい期待値を生成することを活用する。
• スケーリングパラメータsに関する相対エントロピー上界の最適化により、片側および両側の尾部確率に対するタイトな逸脱バウンドが得られる。

実験結果

リサーチクエスチョン

• RQ1 有限分散のもとでサブガウス型の逸脱バウンドを達成する平均推定量を構築可能か？ ただしサブガウス型または軽尾分布を仮定しない。
• RQ2 加法的または乗法的ノイズといった異なるノイズ分布が、得られる推定量の性能および頑健性に与える影響は何か？
• RQ3 有限標本において、さまざまな元の分布に対して推定量の平均対標準偏差比への感受性は何か？
• RQ4 提案された推定量は、重い尾や歪度のある分布を含む広範なデータ生成メカニズムにおいて、ほぼサブガウス型の性能を達成可能か？
• RQ5 ノイズ分布の選択（例：正規分布、スチューデントt分布、ベルヌーイ分布）が、逸脱バウンドのタイトさおよび推定量の有限標本挙動に与える影響は何か？

主な発見

• 提案された推定量は、両側の逸脱バウンドを指数的尾部で達成しており、元の分布の2次モーメントによって制御される。これは、有限分散が唯一の仮定である場合でも成立する。
• 自由度qのスチューデントtノイズの場合、相対エントロピー上界は $ \frac{(q+1)}{2}\left(\log\left(1+\frac{\alpha^{2}}{q}\right)+\frac{4|\alpha|\Gamma((q+1)/2)}{\sqrt{q\pi}\Gamma(q/2)(q-1)}\right) $ として導出され、タイトな逸脱制御が可能になる。
• 実証的に確認したところ、重い尾や歪度のある分布を含む広範な分布において、推定量はほぼサブガウス型の性能を達成する。
• 逸脱バウンドは平均対標準偏差比に対して頑健であり、歪度や尖度の異なる状況でも性能が安定している。
• 正規分布、ベルヌーイ分布、ワイブル分布、スチューデントt分布など、複数のノイズ族に対して閉形式での計算が達成されており、実装が可能である。
• 実証的結果から、推定量は強い有限標本性能を維持しており、非正規性下でも逸脱分布がサブガウス型挙動と密接に一致することが示された。