[論文レビュー] Learning deep kernels for exponential family densities

Li Kevin Wenliang, Danica J. Sutherland+2 more|arXiv (Cornell University)|Nov 20, 2018

Gaussian Processes and Bayesian Inference参考文献 36被引用数 10

ひとこと要約

本稿では、局所的なデータ幾何構造を適応的に捉えるために深層ニューラルネットワークを介してカーネルを学習する、深層カーネル指数型分布族（DKEF）を提案する。スコアマッチングを用い、学習された位置依存カーネルにより、特に複雑で多次元的、または非i.i.d.なデータ構造において、最尤推定に基づく深層密度モデルに比べ、優れた形状モデリングと勾配推定を実現する。

ABSTRACT

The kernel exponential family is a rich class of distributions, which can be fit efficiently and with statistical guarantees by score matching. Being required to choose a priori a simple kernel such as the Gaussian, however, limits its practical applicability. We provide a scheme for learning a kernel parameterized by a deep network, which can find complex location-dependent local features of the data geometry. This gives a very rich class of density models, capable of fitting complex structures on moderate-dimensional problems. Compared to deep density models fit via maximum likelihood, our approach provides a complementary set of strengths and tradeoffs: in empirical studies, the former can yield higher likelihoods, whereas the latter gives better estimates of the gradient of the log density, the score, which describes the distribution's shape.

研究の動機と目的

• 固定で空間的に不変なカーネルが、複雑で多次元的なデータ構造に適応できないという、カーネル指数型分布族の限界を克服すること。
• ホールドアウトスコア損失を用いたメタラーニングスキームにより、カーネルパラメータと正則化ハイパーパrameterのエンドツーエンド学習を可能にすること。
• 分布形状をモデル化するために極めて重要なスコア（対数密度の勾配）の推定を改善すること、特に高曲率領域や非連結成分領域において。
• カーネル法と深層特徴学習の長所を組み合わせることで、最尤推定に基づく深層密度モデルに対する実用的でスケーラブルな代替手段を提供すること。

提案手法

• カーネルを $ k(\bm{x}, \bm{y}) = \tilde{\rho}(\bm{\theta}(\bm{x}), \bm{\theta}(\bm{y})) $ とパラメータライズし、$ \bm{\theta} $ を位置依存特徴を抽出する深層ニューラルネットワークとする。
• スコアマッチングを用いてモデルを訓練し、真のスコア関数と予測されたスコア関数の期待二乗誤差を最小化する：$ J = \frac{1}{2} \bb{E}_{p_0} \norm{\nabla \tilde{p} - \nabla p}^2 $。
• ホールドアウトスコア損失を用いて、深層ネットワークの重みと正則化パラメータを最適化し、データから滑らかさ仮定をメタラーニングで学習可能にする。
• 深層特徴にガウスカーネルを適用し、入力空間の異なる領域で長さスケールが変化可能な柔軟で適応的なカーネルを構築する。
• 自動微分を介して勾配計算を有効にした、スコアマッチング目的関数に基づく確率的勾配降下法でモデルを訓練する。
• 学習された密度形状の忠実度を評価するために、FSSD（フルスケールソボレフデバイアント）とKSD（カーネル化されたスティン分散）を形状に基づく評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを用いてカーネル指数型分布族のカーネルをパラメータライズすることで、複雑で位置に依存するデータ幾何構造をよりよく捉えることができるか？
• RQ2 スコアマッチングによりカーネルと正則化パラメータを同時に学習することで、最尤推定に基づく深層密度モデルに比べ、スコア関数の推定が改善されるか？
• RQ3 DKEFモデルは、標準的なノーマライジングフローが失敗する、鋭い特徴、非連結成分、非ガウス分布を示すデータセットでどのように性能を発揮するか？
• RQ4 モデルがデータから滑らかさ仮定を学習できる能力が、明示的な尤度最大化なしに一般化性能を向上させ、アーチファクトを低減するか？
• RQ5 DKEFと尤度ベースの深層密度モデルを比較した場合、尤度性能とスコア推定の正確性の間にはどのようなトレードオフが存在するか？

主な発見

• DKEFは、Ring、Square、Cosineといった複雑な形状において、尤度ベースのモデルに比べ顕著に低いフィッシャー分散とFSSD値を達成しており、優れた形状モデリングを示している。
• UCIベンチマークデータセット（RedWine、WhiteWine、Parkinson、HepMass、MiniBoone）において、DKEFはFSSD（スコア正確性のグローバル指標）で常に上位にランクされ、特に大きなテストセットではDKEFの優位性が自信を持って示されている。
• 尤度ベースのモデルは一部のデータセットで高い対数尤度を達成するが、DKEFはより優れた勾配推定を実現しており、特に高曲率領域や不連続領域において、FSSDおよびKSDの値が低く抑えられている。
• 非連結成分を有する多次元分布では、DKEFは個々のモードの形状をうまく捉えているが、モード重みの推定は不安定である。スペクトルクラスタリングを組み合わせた混合モデルは性能を向上させる。
• モデルの適合度が向上するにつれて、目的関数推定子 $ \tilde{J} $ はノイジーになる傾向が強く、特にSquareのような鋭い特徴では勾配の分散が高くなり、最適化の困難さが増す。
• 訓練中にガウスノイズ（σ = 0.05）を追加すると、スコアマッチング損失が改善され最適化が安定化するが、尤度性能は低下する。これは、形状忠実度と尤度最大化の間のトレードオフを示している。