[論文レビュー] Nonparanormal Information Estimation

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|Feb 24, 2017

Statistical Methods and Inference参考文献 29被引用数 8

ひとこと要約

本稿では、未知の周辺変換を伴うガウスコプゥラ（Gaussian copula）としてのデータモデルを用いることで、高次元設定において頑健性とスケーラビリティの両立を図る非パラメトリックな情報推定器を提案する。この手法は、スピーイマンのrhoとケンドールのtauという順位に基づく依存度測度を用いて、非パラメトリックな仮定下での相互情報量を推定し、$ \|Σ^{-1}\|_2^2 D^2 / n$ の最適収束レートを達成する。実際の応用において、ガウス推定器と非パラメトリック推定器の両方を凌駆する性能を示す。

ABSTRACT

We study the problem of using i.i.d. samples from an unknown multivariate probability distribution $p$ to estimate the mutual information of $p$. This problem has recently received attention in two settings: (1) where $p$ is assumed to be Gaussian and (2) where $p$ is assumed only to lie in a large nonparametric smoothness class. Estimators proposed for the Gaussian case converge in high dimensions when the Gaussian assumption holds, but are brittle, failing dramatically when $p$ is not Gaussian. Estimators proposed for the nonparametric case fail to converge with realistic sample sizes except in very low dimensions. As a result, there is a lack of robust mutual information estimators for many realistic data. To address this, we propose estimators for mutual information when $p$ is assumed to be a nonparanormal (a.k.a., Gaussian copula) model, a semiparametric compromise between Gaussian and nonparametric extremes. Using theoretical bounds and experiments, we show these estimators strike a practical balance between robustness and scaling with dimensionality.

研究の動機と目的

• 非ガウス性に対して頑健であり、かつ高次元にスケーラブルな実用的相互情報量推定器の不足を解消すること。
• 高次元情報推定において、破綻しやすいガウス仮定と現実的でない非パラメトリックな設定の間のギャップを埋めること。
• 非パラメトリック（ガウスコプゥラ）モデル下での相互情報量推定器を構築し、中程度から高次元の設定において一貫性と収束性を維持すること。
• 非パラメトリックな相互情報量推定の理論的誤差境界を提供し、推定誤差の上界と下界を含む。
• 実証的に、非パラメトリック推定器が失敗する状況でも、非ガウス的推定器がガウス推定器よりも頑健であり、中程度のサンプルサイズでも収束することを示すこと。

提案手法

• 周辺分布を変換することでデータが近似的にガウス分布に従うと仮定し、連合分布を非パラメトリック（ガウスコプゥラ）分布としてモデル化する。
• パラメトリック密度推定に代えて、順位に基づく測度（スピーイマンのrhoとケンドールのtau）を用いて相互情報量を推定することで、周辺分布の仮定への感受性を低減する。
• 3つの推定器を提案する：$\widehat{I}_{\rho}$（スピーイマンのrhoに基づく）、$\widehat{I}_{\tau}$（ケンドールのtauに基づく）、$\widehat{I}_{G}$（ガウスコプゥラに基づく）。それぞれ異なる依存構造を活用する。
• 推定誤差の理論的上界を導出し、形式 $\|Σ^{-1}\|_2^2 D^2 / n$ を得る。これは逆相関行列と次元数に依存することを示す。
• 最小最大下界として $2D/n$ を確立し、上界が $ Sigma$ に依存する要因を除き、タイトであることを示す。また、順位に基づく推定器がガウスの場合とは異なった方法で $ Sigma$ に依存することを示す。
• 個々の周辺エントロピーを推定するために、サンプル間隔と $k$-近傍法を用い、それらを相互情報量推定と組み合わせて結合エントロピーを計算する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック推定器が失敗する高次元設定において、非ガウス的仮定が、ガウス推定器が破綻する状況でも一貫した相互情報量推定を可能にするか。
• RQ2 非パラメトリック推定器の理論的誤差レートは、ガウス分布の最小最大下界と比較してどうか。また、潜在相関行列 $\Sigma$ にどのように依存するか。
• RQ3 スピーイマンのrho やケンドールのtauといった順位ベース推定器は、高次元データにおいて、パラメトリックまたは非パラメトリック代替手法に比べて、どの程度頑健性が向上するか。
• RQ4 非パラメトリックモデルは、$\Sigma$ に構造的仮定を置いた場合に、相互情報量以外の関数的量（例：エントロピー）の一致推定を可能にするか。
• RQ5 誤差境界における次元 $D$ の2次関数的依存性は最適か。$\Sigma$ に構造的仮定を置くことで、収束レートの向上が可能か。

主な発見

• 提案された非パラメトリック推定器は、$\|Σ^{-1}\|_2^2 D^2 / n$ の理論的上界を達成し、$\Sigma$ が良好に条件付けられている場合、次元に伴うスケーリングが有利に働く。
• 非パラメトリックモデルの最小最大下界は $2D/n$ であり、ガウス分布のケースと一致する。これは、上界が $ Sigma$ に依存する要因を除き、ほぼ最適であることを示唆する。
• 実証的結果から、非パラメトリック推定器はガウス推定器よりも頑健であり、特に多変量正規性から逸脱したデータや高次元の設定で顕著に優れる。
• $\widehat{I}_{\rho}$ と $\widehat{I}_{\tau}$ は $D^2/n$ が小さい場合に有効であり、$\widehat{I}_{\rho}$ は外れ値に対してより頑健で、$\widehat{I}_{\tau}$ は強い依存性に適している。
• 順位ベースの相互情報量推定器と $k$-近傍法またはサンプル間隔法を組み合わせることで、周辺エントロピーの推定が可能となり、結合エントロピーの誤差境界が $CD^2/n$ となる。
• 本研究は、$\log|\Sigma|$ の一貫した推定を可能にする非パラメトリックな非ガウス的拡張を、QDA や MANOVA などの多変量ツールに応用する道を開く。