[論文レビュー] Noise Regularization for Conditional Density Estimation

Jonas Rothfuss, Fábio Ferreira+5 more|arXiv (Cornell University)|Jul 21, 2019

Gaussian Processes and Bayesian Inference参考文献 52被引用数 12

ひとこと要約

この論文は、訓練中に入力データに制御されたランダムノイズを追加することで一般化を向上させる、ニューラル条件付き密度推定（CDE）のノイズ正則化を提案する。この手法は推定された条件付き密度の滑らかさを誘導し、漸近的整合性を達成し、他の正則化手法や古典的非パラメトリック手法を上回る。わずか400件の訓練サンプルでも性能を発揮する。

ABSTRACT

Modelling statistical relationships beyond the conditional mean is crucial in many settings. Conditional density estimation (CDE) aims to learn the full conditional probability density from data. Though highly expressive, neural network based CDE models can suffer from severe over-fitting when trained with the maximum likelihood objective. Due to the inherent structure of such models, classical regularization approaches in the parameter space are rendered ineffective. To address this issue, we develop a model-agnostic noise regularization method for CDE that adds random perturbations to the data during training. We demonstrate that the proposed approach corresponds to a smoothness regularization and prove its asymptotic consistency. In our experiments, noise regularization significantly and consistently outperforms other regularization methods across seven data sets and three CDE models. The effectiveness of noise regularization makes neural network based CDE the preferable method over previous non- and semi-parametric approaches, even when training data is scarce.

研究の動機と目的

• 訓練データが限られる状況下で、ニューラルネットワークベースの条件付き密度推定（CDE）における過学習を是正すること。
• 最大尤度訓練において過学習に敏感な高容量CDEモデルに効果を発揮する、モデルに依存しない正則化手法の開発。
• 提案されたノイズ正則化手法の理論的整合性および滑らかさの性質の確立。
• 特にデータが少ない状況下で、ノイズ正則化付きニューラルCDEが最先端の非パラメトリックおよび半パラメトリックCDE手法を上回ることの実証。

提案手法

• 訓練中に入力特徴量xに制御されたランダムノイズを適用し、モデルアーキテクチャを変更しない。
• ノイズ付き入力を用いた確率的最適化を用い、条件付き密度推定を暗黙的に正則化する。
• ノイズの追加が大きな2階微分に対するペナルティに相当することを理論的に結びつけ、推定密度の滑らかさを促進する。
• ややきつい正則性条件のもとで、ノイズ正則化付き最大尤度推定器の漸近的整合性を証明する。
• バイアスとバリアンスのバランスをとるために、データ次元とサンプルサイズに応じてデータ依存のノイズレベルを設定する。
• MDN、KMN、NFNを含む、任意のニューラルCDEモデルアーキテクチャと互換性があり、モデルに依存しない。

実験結果

リサーチクエスチョン

• RQ1 最大尤度で学習するニューラルCDEモデルにおける過学習を、ノイズ正則化が効果的に低減できるか。
• RQ2 ノイズ正則化が、滑らかな条件付き密度推定へ向けた望ましいインダクティブバイアスを誘導するか。
• RQ3 ノイズ正則化手法は、条件付き密度推定において漸近的整合性を満たすか。
• RQ4 データが少ない状況下で、ノイズ正則化付きニューラルCDEが古典的非パラメトリックおよび半パラメトリックCDE手法を上回るか。
• RQ5 異なるCDEアーキテクチャにおいて、ノイズ正則化は重み減衰、L1/L2正則化、ベイジアン手法と比較してどの程度の性能を発揮するか。

主な発見

• ノイズ正則化は、テストされたすべてのCDEモデル（MDN、KMN、NFN）およびデータセットにおいて、重み減衰、L1/L2正則化、ベイジアン手法を一貫して上回った。
• 実世界のデータセットにおいて、400件の訓練サンプルのみでも、ノイズ正則化付きニューラルCDEはCKDEやNKDEといった最先端の非パラメトリック手法を上回るテスト対数尤度を達成した。
• Euro StoxxおよびNYC Taxiデータセットでは、ノイズ正則化付きNFNが、それぞれ5.20±0.03および5.12±0.03のテスト対数尤度を達成し、他のすべての手法を上回った。
• 表2の全5つのデータセットにおいて、ノイズ正則化は平均テスト対数尤度で最高を記録した。NFNはEuro Stoxxで4.00±0.03、NYC Taxiで5.20±0.03を記録した。
• ノイズ正則化は、さまざまなCDEモデルやデータサイズに対して安定した性能を示したが、パラメータ空間の正則化手法はモデルアーキテクチャに依存して性能のばらつきが大きかった。
• 理論的分析により、ノイズ正則化が滑らかさペナルティに対応しており、漸近的整合性を有することを確認した。これは、データが少ない状況下でも信頼性が高いことを裏付けている。