[論文レビュー] Efficient and principled score estimation with Nyström kernel exponential families

Danica J. Sutherland, Heiko Strathmann+2 more|arXiv (Cornell University)|May 23, 2017

Statistical Methods and Inference参考文献 6被引用数 3

ひとこと要約

本論文は、スコアマッチング解法におけるニーヨンス近似を用いて、無限次元指数型分布族モデルを計算的に効率的かつ統計的に妥当に学習する手法を提案する。低ランクカーネル近似を活用することで、Fisher距離、$L^r$距離、およびヘルンゲリン距離において、フルランク解と同等の収束速度を達成するとともに、コストとストレージの削減が保証される。また、ヒューリスティックな近似やオートエンコーダーに基づくスコア推定器よりも、精度、速度、解釈可能性において優れている。

ABSTRACT

We propose a fast method with statistical guarantees for learning an exponential family density model where the natural parameter is in a reproducing kernel Hilbert space, and may be infinite-dimensional. The model is learned by fitting the derivative of the log density, the score, thus avoiding the need to compute a normalization constant. Our approach improves the computational efficiency of an earlier solution by using a low-rank, Nyström-like solution. The new solution retains the consistency and convergence rates of the full-rank solution (exactly in Fisher distance, and nearly in other distances), with guarantees on the degree of cost and storage reduction. We evaluate the method in experiments on density estimation and in the construction of an adaptive Hamiltonian Monte Carlo sampler. Compared to an existing score learning approach using a denoising autoencoder, our estimator is empirically more data-efficient when estimating the score, runs faster, and has fewer parameters (which can be tuned in a principled and interpretable way), in addition to providing statistical guarantees.

研究の動機と目的

• 正規化定数を必要としない、無限次元指数型分布族モデルを高速かつスケーラブルに学習する手法の開発。
• フルランクカーネル指数型分布族推定における高い計算コスト（$\mathcal{O}(n^3d^3)$）とメモリ使用量（$\mathcal{O}(n^2d^2)$）の問題に対処する。
• 低ランクニーヨンスに基づく解法について、収束性と近似誤差の理論的保証を提供する。
• 従来のスコア学習手法（例：ノイズ除去オートエンコーダー）に比べ、データ効率、速度、解釈可能性を向上させる。
• 適応的ハミルトニアンモンテカルロサンプリングなどの応用分野における無限指数型分布族の実用的導入を可能にする。

提案手法

• 本手法は、スコアマッチング解法におけるカーネル行列のランクを低下させるためにニーヨンス近似を用いることで、計算コストとストレージコストを顕著に低減する。
• 正規化定数が計算不能であるのを避けるために、スコアマッチング目的関数に対してチホノフ正則化を適用する。
• 収束を達成するために、$m \sim n^{1/3}\log n$ から $n^{1/2}\log n$ の範囲で、$m$ 個のニーヨンス点を選択する。
• 最近の最小二乗回帰からの技術を用いて、一般化誤差をニーヨンス基底を直接制御することで理論的保証を導出する。
• Fisher距離においてフルランク解と同等の一貫性と収束速度を維持し、他の距離ではほぼ同等の収束速度を達成する。
• 再生核ヒルバート空間（RKHS）カーネルのサンプル点における1階および2階微分から定義される線形システムにより実装され、効率的な最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 低ランクニーヨンス近似は、フルランクカーネル指数型分布族解の統計的一貫性と収束速度を保持できるか？
• RQ2 $n \to \infty$ のとき収束を達成するために必要な最小のニーヨンス点数 $m$ は何か？
• RQ3 近似誤差は、学習サンプル数 $n$ とニーヨンス点数 $m$ に対してどのようにスケーリングされるか？
• RQ4 本手法は、ヒューリスティックな近似（例：ランダムフーリエ特徴）よりも精度と計算効率の両面で優れているか？
• RQ5 本手法のスコア推定器は、深層学習ベースの代替手法（例：ノイズ除去オートエンコーダー）に比べ、データ効率と解釈可能性において優れているか？

主な発見

• Fisher距離において、$m \sim n^{1/3}\log n$ から $n^{1/2}\log n$ のニーヨンス点数で、フルランク解と同等の収束速度を達成する。
• $L^r$距離、ヘルンゲリン距離、KL距離においても、密度の滑らかさに応じてフルランク解と同等またはほぼ同等の収束速度を示す。
• 実験的に、ノイズ除去オートエンコーダーのスコア推定器よりもデータ効率が高く、調整パラメータが少なく、解釈性に優れている。
• フルランク解よりも高速に実行され、計算コストを大幅に削減しながらも、従来のヒューリスティックな近似と同等の性能を達成する。
• 適応的ハミルトニアンモンテカルロ法において、学習されたスコアは高い受容率をもたらし、実用的有用性を示している。
• 一般化誤差に関する理論的境界は、直接的にニーヨンス基底から導出されており、間接的な再構成誤差の議論を回避している。