[論文レビュー] Multivariate Smoothing via the Fourier Integral Theorem and Fourier Kernel

Nhat Ho, Stephen G. Walker|arXiv (Cornell University)|Dec 28, 2020

Statistical Methods and Inference参考文献 41被引用数 4

ひとこと要約

本稿では、フーリエ積分定理とフーリエカーネルを用いた新しい多次元スムージング手法を提案する。この手法により、バンド幅共分散行列の必要性を回避しつつ、密度、回帰関数、混合密度の非パラメトリック推定が可能となる。1次元フーリエカーネルの積を活用することで、次元間の依存構造を自然に保ちながら、標準的なカーネル法よりも優れた収束速度を達成する。

ABSTRACT

Starting with the Fourier integral theorem, we present natural Monte Carlo estimators of multivariate functions including densities, mixing densities, transition densities, regression functions, and the search for modes of multivariate density functions (modal regression). Rates of convergence are established and, in many cases, provide superior rates to current standard estimators such as those based on kernels, including kernel density estimators and kernel regression functions. Numerical illustrations are presented.

研究の動機と目的

• バンド幅共分散行列の必要性を回避するフーリエ積分定理に基づく非パラメトリックな多次元スムージングフレームワークの構築を目的とする。
• 特に多次元設定におけるバンド幅選択および共分散構造推定の複雑さに起因する、従来のカーネル法の限界を解消することを目的とする。
• 標準的なカーネル法を上回る収束速度を示すフーリエカーネル推定量の理論的収束速度を確立することを目的とする。
• 従来、多次元回帰においてはあまり利用されていなかったフーリエカーネルを拡張し、依存構造を自然に保つ積カーネルアプローチを提供することを目的とする。
• モーダル回帰や遷移密度を含む多次元関数のためのモンテカルロベースの推定手順を提示し、厳密な理論的保証を提供することを目的とする。

提案手法

• 関数 $ m(x) $ を $ \frac{\sin(R(y_j - x_j))}{y_j - x_j} $ を含む積分として表現し、モンテカルロ近似を可能にする。
• i.i.d.標本を用いて、フーリエ密度推定量を $ \widehat{f}_{n,R}(x) = \frac{1}{n\pi^d} \sum_{i=1}^n \prod_{j=1}^d \frac{\sin(R(x_j - X_{ij}))}{x_j - X_{ij}} $ として構築する。
• Nadaraya–Watson型推定量を用いて非パラメトリック回帰へ拡張する：$ \widehat{m}_{n,R}(x) = \frac{\sum_{i=1}^n Y_i \prod_{j=1}^d K_R(x_j - X_{ij})}{\sum_{i=1}^n \prod_{j=1}^d K_R(x_j - X_{ij})} $、ここで $ K_R(u) = \frac{\sin(Ru)}{u} $ である。
• 高次元において1次元フーリエカーネルの積を用いることで、明示的な共分散モデル化を必要とせず、依存構造を自然に保持する。
• Empirical process theory および対称化技術を用いて、経験過程の上界を制御し、一様収束性を保証する。
• マルチプライヤーブートストラップおよび集中不等式を用いて、漸近正規性と収束速度を確立し、$ R^d $ のスケーリングがバイアス・バリアンストレードオフを制御する。

実験結果

リサーチクエスチョン

• RQ1 フーリエ積分定理を活用して、バンド幅共分散行列の推定を回避する多次元非パラメトリックスムージング手法を構築可能か？
• RQ2 フーリエカーネルに基づく密度および回帰推定量の理論的収束速度は、標準的なカーネル法と比較してどうなるか？
• RQ3 高次元における1次元フーリエカーネルの積は、明示的なモデル化を要せず、依存構造を本質的に保っているか？
• RQ4 提案された多次元関数のためのモンテカルロ推定量は、バイアス、バリアンス、漸近正規性の観点でどのように性能を示すか？
• RQ5 フーリエカーネルアプローチは、有限標本性能の向上を図るモーダル回帰および遷移密度推定へ拡張可能か？

主な発見

• 提案されたフーリエカーネル推定量は、多次元密度および回帰関数の推定において、標準的なカーネル推定量よりも速い収束速度を達成する。
• 1次元フーリエカーネルの積により、次元間の依存構造が自然に捉えられるため、バンド幅共分散行列の明示的選択を必要としない。
• 推定量 $ \widehat{m}_{n,R}(x) $ は漸近正規であり、$ \sqrt{n/R^d} \cdot \frac{\widehat{a}_2(x)}{\widehat{f}_{n,R}(x)} \xrightarrow{d} \mathcal{N}\left(0, \frac{\sigma^2}{p_0(x)\pi^d}\right) $ が成り立ち、漸近的効率性が確認される。
• バイアス項 $ \sqrt{n/R^d} \cdot \frac{\widehat{a}_1(x)}{\widehat{f}_{n,R}(x)} \xrightarrow{p} 0 $ が成り立ち、適切な $ R $-成長条件の下でバイアスが消失することが示される。
• 理論的バインディングにより、経験過程の偏差が $ \mathcal{O}_P\left(\sqrt{\frac{R^d \log R}{n}}\right) $ で制御され、一様収束性が保証される。
• 数値的実験により、本手法の実用的妥当性および古典的なカーネル手法に比べ優れた性能が確認される。