[論文レビュー] Chebyshev polynomials, moment matching, and optimal estimation of the unseen

Yihong Wu, Pengkun Yang|arXiv (Cornell University)|Apr 6, 2015

Bayesian Methods and Mixture Models参考文献 38被引用数 24

ひとこと要約

本稿では、チェビシェフ多項式と近似理論を用いて、離散的分布のサポートサイズ推定のための新しい線形推定量を提案する。この手法は、$rac{k}{ olimits\log k} olimits\log^2\frac{1}{ olimits\epsilon} olimits$ の最適な標本複雑度を達成し、先行研究の最良の結果 $rac{k}{ olimits\epsilon^2\log k} olimits$ よりも改善している。計算効率は $O(n + \log^2 k)$ を確保し、漸近的に6倍以内のミニマックスリスクを達成する。

ABSTRACT

We consider the problem of estimating the support size of a discrete distribution whose minimum non-zero mass is at least $ \frac{1}{k}$. Under the independent sampling model, we show that the sample complexity, i.e., the minimal sample size to achieve an additive error of $εk$ with probability at least 0.1 is within universal constant factors of $ \frac{k}{\log k}\log^2\frac{1}ε $, which improves the state-of-the-art result of $ \frac{k}{ε^2 \log k} $ in \cite{VV13}. Similar characterization of the minimax risk is also obtained. Our procedure is a linear estimator based on the Chebyshev polynomial and its approximation-theoretic properties, which can be evaluated in $O(n+\log^2 k)$ time and attains the sample complexity within a factor of six asymptotically. The superiority of the proposed estimator in terms of accuracy, computational efficiency and scalability is demonstrated in a variety of synthetic and real datasets.

研究の動機と目的

• 最小非ゼロ確率が $\frac{1}{k}$ 以上である離散的分布のサポートサイズを推定するという根本的な課題に取り組む。
• 独立標本抽出モデル下でのサポートサイズ推定におけるミニマックスリスクおよび標本複雑度を同定する。
• 最適またはほぼ最適な標本複雑度を達成する計算効率の良い推定量を開発する。
• 特にチェビシェフ多項式およびその性質を活用した近似理論を用いて、理論的保証が強い線形推定量を構築する。

提案手法

• 提案された推定量は、標本内で丁度 $j$ 回出現する記号の数を数えるフィンガープrint統計量の線形関数である。
• 関数 $f_j(x) = \mathbb{E}[\mathbf{1}_{\{\text{Poisson}(x) \geq j\}}]$ を近似するために、次数 $L$ のチェビシェフ多項式が用いられる。この関数は、記号が少なくとも $j$ 回出現する確率をモデル化する。
• 一般化ラゲール多項式を用いて表現される $f_j$ の $L$ 階微分を用いて、近似誤差を上界で制御する。
• チェビシェフノードにおける補間誤差の境界を適用することで、ポisson化済みと実際のフィンガープリントの全変動距離を制御する。
• 最終的な推定量は、チェビシェフ多項式の近似理論的性質を用いて期待二乗誤差を最小化することで構築される。
• 計算複雑度は $O(n + \log^2 k)$ であり、チェビシェフに基づく線形関数の効率的評価によって達成される。

実験結果

リサーチクエスチョン

• RQ1 最小非ゼロ質量が $\frac{1}{k}$ である離散的分布のサポートサイズ推定における最適な標本複雑度は何か？
• RQ2 チェビシェフ多項式に基づく線形推定量は、この設定でミニマックス最適性能を達成できるか？
• RQ3 与えられた分布的制約下でのサポートサイズ推定における根本的なミニマックスリスクは何か？
• RQ4 プラグイン推定量と比較して、本手法の正確性と標本効率性はどのように異なるか？
• RQ5 理論的最適性を維持しながら、推定量を効率的に計算できるか？

主な発見

• ミニマックスリスクは $R^*(k,n) = \exp\left(-\Theta\left(\sqrt{\frac{n\log k}{k}} \vee \frac{n}{k} \vee 1\right)\right)$ と同定され、非自明な領域では明確な定数が得られている。
• 領域 $\frac{k}{\log k} \ll n \ll k\log k$ において、ミニマックスリスクは $\exp\left(-\left(\sqrt{2}e + o(1)\right)\sqrt{\frac{n\log k}{k}}\right)$ から $\exp\left(-\left(1.579 + o(1)\right)\sqrt{\frac{n\log k}{k}}\right)$ の間である。
• 提案された推定量は、$\frac{k}{\log k}\log^2\frac{1}{\epsilon}$ の標本複雑度を達成し、従来の境界 $\frac{k}{\epsilon^2\log k}$ よりも改善している。
• 推定量は計算的に効率的であり、実行時間は $O(n + \log^2 k)$ であり、大規模データセットへのスケーラビリティを有する。
• 合成および実世界のデータセットにおいて、既存の推定量と比較して優れた正確性とスケーラビリティを示している。
• 理論的分析により、$n \lesssim \frac{k}{\log k}$ のとき、一貫した推定量は存在しないことが確認され、根本的な限界が確立された。