[論文レビュー] Technical report: Training Mixture Density Networks with full covariance matrices

Jakob Kruse|arXiv (Cornell University)|Mar 4, 2020

Bayesian Methods and Mixture Models参考文献 1被引用数 6

ひとこと要約

この論文では、下三角行列のコレスキー分解を用いて精度行列をパrameter化することで、完全な共分散行列を用いた混合密度ネットワーク（MDN）の学習手法を提示している。これにより、複雑で相関のある条件付き分布のモデル化が可能になる。このアプローチは、微分可能な対数尤度最適化によるエンドツーエンド学習と、可逆変換を用いた効率的なサンプリングを可能にする。

ABSTRACT

Mixture Density Networks are a tried and tested tool for modelling conditional probability distributions. As such, they constitute a great baseline for novel approaches to this problem. In the standard formulation, an MDN takes some input and outputs parameters for a Gaussian mixture model with restrictions on the mixture components' covariance. Since covariance between random variables is a central issue in the conditional modeling problems we were investigating, I derived and implemented an MDN formulation with unrestricted covariances. It is likely that this has been done before, but I could not find any resources online. For this reason, I have documented my approach in the form of this technical report, in hopes that it may be useful to others facing a similar situation.

研究の動機と目的

• 混合密度ネットワークが、対角共分散行列の仮定に起因する制限を克服し、完全共分散行列を用いて条件付き確率分布をモデル化できるようにすること。
• 深層学習における誤差逆伝播法に適した、微分可能で数値的に安定した完全共分散行列のパrameter化を提供すること。
• 精度行列のコレスキー分解を用いて、制限のない共分散を持つMDNの効率的学習とサンプリングを支援すること。
• 研究者が類似の課題に直面する際の実用的で再利用可能な実装を文書化・共有すること。

提案手法

• 各ガウス成分の逆共分散行列（精度行列）を、下三角行列Uを用いたコレスキー分解によりパrameter化し、正定値性を保証する。
• コレスキー因子Uを用いて、対数密度寄与を −½‖U(x−μ)‖²₂ + Σⱼ log(Uⱼⱼ) として計算する。ここでUⱼⱼは対角成分である。
• データの混合モデル下での負の対数尤度を最小化することでMDNを学習し、学習安定性向上のためJensenの不等式に基づく上界を用いる。
• コレスキー因子の逆行列を用いてサンプリングを微分可能にし、x = μ + Lη（L = U⁻ᵀ、η ∼ N(0, I)）によりサンプルを生成する。
• 条件付き入力ω、μ、Uをニューラルネットワークから得て、正規化フローに可逆ブロックとして完全共分散MDNを統合する。
• PyTorchとFrEIAフレームワークを用いて実装し、GMMブロックを負の対数尤度損失を通じて誤差逆伝播可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全共分散行列を用いることで、対角行列に比べて複雑で相関のある条件付き分布を、混合密度ネットワークが効果的にモデル化できるか。
• RQ2 完全共分散行列を深層学習に適した微分可能で数値的に安定した方法でパrameter化するにはどうすればよいか。
• RQ3 完全共分散行列を用いることで、条件付き密度推定におけるMDNの学習安定性と性能にどのような影響を与えるか。
• RQ4 完全共分散MDNは、微分可能であり、効率的なサンプリングを維持したまま、正規化フローや他の可逆アーキテクチャに統合可能か。

主な発見

• 精度行列の提案されたコレスキーパラメータ化により、正定値性が保証され、完全共分散行列を用いたMDNの微分可能学習が可能になる。
• コレスキー因子Uを用いた対数密度計算により、‖U(x−μ)‖²₂とトレース項を用いて、混合モデルの安定的かつ効率的な評価が可能になる。
• Jensenの不等式に基づく上界を用いた微分可能な負の対数尤度目的関数により、誤差逆伝播法を用いたエンドツーエンド学習が可能となり、初期学習段階の安定性が向上する。
• 精度行列のコレスキー因子の逆行列を用いることで、多次元ガウス成分からの効率的サンプリングが実現される。
• 実装はFrEIAフレームワークに統合され、可逆GMMブロックとして提供され、正規化フローや条件付き密度モデリングへの応用が可能になる。
• 本手法は、相関のある出力をモデル化する必要がある状況において、研究者が利用可能な実用的で再利用可能なソリューションを提供する。