[論文レビュー] Better Conditional Density Estimation for Neural Networks

Wesley Tansey, Karl Pichotta+1 more|arXiv (Cornell University)|Jun 7, 2016

Neural Networks and Applications参考文献 16被引用数 5

ひとこと要約

本稿では、ニューラルネットワークにおける条件付き密度推定（CDE）のための2つの新しい非パラメトリック手法、Multiscale Nets（MSNs）とCDE Trend Filtering（CDE-TF）を提案する。MSNsは密度推定を階層的分類に変換するために二分分割を用いる。一方、CDE-TFは多項ロジットにk次順応フィルタリングペナルティを適用して滑らかさを確保する。両手法とも、それぞれのデータ環境下でガウス・ミックス・モデル（GMMs）を上回る性能を発揮する：MSNsは高密度のデータ対特徴比の状況で優れた性能を示し、CDE-TFは少数のサンプル、高次元の設定で優位性を示す。

ABSTRACT

The vast majority of the neural network literature focuses on predicting point values for a given set of response variables, conditioned on a feature vector. In many cases we need to model the full joint conditional distribution over the response variables rather than simply making point predictions. In this paper, we present two novel approaches to such conditional density estimation (CDE): Multiscale Nets (MSNs) and CDE Trend Filtering. Multiscale nets transform the CDE regression task into a hierarchical classification task by decomposing the density into a series of half-spaces and learning boolean probabilities of each split. CDE Trend Filtering applies a k-th order graph trend filtering penalty to the unnormalized logits of a multinomial classifier network, with each edge in the graph corresponding to a neighboring point on a discretized version of the density. We compare both methods against plain multinomial classifier networks and mixture density networks (MDNs) on a simulated dataset and three real-world datasets. The results suggest the two methods are complementary: MSNs work well in a high-data-per-feature regime and CDE-TF is well suited for few-samples-per-feature scenarios where overfitting is a primary concern.

研究の動機と目的

• ニューラルネットワークが点予測のみを扱うのではなく、完全な条件付き密度をモデル化できないという限界に対処すること。
• 従来のCDE手法の欠点、例えばパラメトリックな仮定、トポロジー構造の欠如、少数サンプル環境下での過剰適合を克服すること。
• スケーラブルで非パラメトリックかつ滑らかな密度推定技術を開発し、応答変数の元のトポロジーを保持すること。
• 補完的なソリューションを提供すること：一つは高データ環境に適した柔軟な手法（MSNs）、もう一つは低データ状況に正則化された手法（CDE-TF）。
• 完全な条件付き密度をモデル化することで、密度推定の向上に加え、点予測性能の向上も達成できることを示すこと。

提案手法

• Multiscale Nets（MSNs）は、応答空間をネストされた半空間に二分分割することで、密度推定を階層的二値分類タスクに変換する。
• 分割の各レベルは二値分割に対応し、ネットワークは入力が各半空間に属する確率を予測する。これにより、決定木のような二分木が形成される。
• 最終的な密度推定は、リーフノードに至るパス上の全分割からの確率を組み合わせることで構築され、柔軟でトポロジーに配慮した密度モデリングが可能になる。
• CDE Trend Filteringは、離散化された応答空間における隣接するビンを接続するグラフ構造上で、多項ロジットにk次順応フィルタリングペナルティを適用して滑らかさを強制する。
• ペナルティ項は、ノードが離散化されたビンを表し、辺が隣接するビンを接続するグラフ構造上で、ロジットが滑らかになるように正則化する。
• 両手法とも、入力特徴量を原始的なロジット（MSNsでは二項、CDE-TFでは多項）にマップするニューラルネットワークを用い、最終的な確率出力を得るためにソフトマックスを適用する。

実験結果

リサーチクエスチョン

• RQ1 二分分割に基づく階層的分類フレームワークは、高データ環境下での条件付き密度推定を改善できるか？
• RQ2 多項ロジットに順応フィルタリング正則化を適用することで、少数サンプル、高次元のCDE環境下での過剰適合を効果的に低減し、性能を向上させられるか？
• RQ3 MSNsとCDE-TFは、標準的なベースライン（多項分類器や混合密度ネットワーク（MDNs））と比較して、対数尤度および点予測精度の面でどのように異なるか？
• RQ4 完全な条件付き密度をモデル化することで、点予測のみを目的としたモデルを訓練するのと比較して、より良い点推定が得られるか？
• RQ5 それぞれの提案手法が、既存の最先端手法を上回るデータ環境はどのようなものか？

主な発見

• 合成MNIST-Distributionsデータセットでは、CDE-TFが少数サンプル環境下で顕著に優位であり、100件の訓練サンプルでMDNsよりも1.5倍の対数確率スコアを達成した。
• パーキンソン病の遠隔モニタリングデータセットでは、CDE-TFが最高の対数確率スコア（-6.16）を記録し、ベースラインの点推定モデルと比較して対数確率とRMSEの両面で優れた性能を示した。
• メルセデスSクラスデータセットでは、MSNsが対数確率-2.21、RMSE 3.46という最高の性能を達成し、MDNsやCDE-TFを上回った。
• 賃貸料金データセットでも、MSNsが再び対数確率-3.82、RMSE 4.61を記録し、MDNsは多次元共分散行列の推定困難さにより著しく不足適合した。
• すべての実世界データセットにおいて、完全な条件付き密度をモデル化することで、専用の点推定モデルを訓練した場合と比較して、より低いRMSE（点予測精度）が得られた。これは、同時密度推定における「無料のランチ」を示唆している。
• 結果は、MSNsが高データ対特徴比の環境で優れていること、CDE-TFが低データ、高次元環境で優位であること、両手法が補完的な強みを示していることを確認した。