[論文レビュー] Constructing the Matrix Multilayer Perceptron and its Application to the VAE

Jalil Taghia, Maria Bånkestad+2 more|arXiv (Cornell University)|Feb 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 4

ひとこと要約

本稿では、von Neumann 散発と新しい α-導出に基づく逆誤差伝搬を用いて SPD 多様体の非ユークリッド幾何を埋め込むことで、対称正定値（SPD）行列を学習する深層ニューラルネットワークアーキテクチャ、行列マルチレイヤーパーセプトロン（mMLP）を提案する。mMLP により、両方の識別・生成ネットワークで密行列の共分散を扱える柔軟な変分オートエンコーダー（VAE）が可能となり、過学習を伴わずに尤度と分離性が著しく向上する。

ABSTRACT

Like most learning algorithms, the multilayer perceptrons (MLP) is designed to learn a vector of parameters from data. However, in certain scenarios we are interested in learning structured parameters (predictions) in the form of symmetric positive definite matrices. Here, we introduce a variant of the MLP, referred to as the matrix MLP, that is specialized at learning symmetric positive definite matrices. We also present an application of the model within the context of the variational autoencoder (VAE). Our formulation of the VAE extends the vanilla formulation to the cases where the recognition and the generative networks can be from the parametric family of distributions with dense covariance matrices. Two specific examples are discussed in more detail: the dense covariance Gaussian and its generalization, the power exponential distribution. Our new developments are illustrated using both synthetic and real data.

研究の動機と目的

• 標準的なMLPが制約の強制ができないため、構造的で対称正定値（SPD）行列を学習する課題に対処すること。
• すべての層でSPD制約を内蔵的に尊重するニューラルネットワークアーキテクチャを構築すること。
• VAEフレームワークを、密行列の共分散を持つパラメトリックな分布族をサポートするように拡張し、モデルの柔軟性を向上させること。
• 識別ネットワークと生成ネットワークの両方で、柔軟でSPD構造を持つ分布（多変量正規分布やパワー指数分布など）を用いて、VAEのエンドツーエンド学習を可能にすること。
• mMLPの有効性を合成データおよび実世界のデータにおいて示し、尤度の向上と意味のある潜在空間の分離性を確認すること。

提案手法

• 各層で正定値カーネル関数を用いることで、出力行列が対称的かつ正定値のままであることを保証する。
• SPD多様体のリーマン幾何を尊重するため、von Neumann 散発を損失関数として採用する。
• α-導出（Magnus, 2010）を用いた新しい逆誤差伝搬アルゴリズムを導出することで、すべての層でSPD構造が保持される勾配計算を可能にする。
• mMLPをVAEフレームワークに統合し、識別ネットワークおよび生成ネットワークの両方で標準的なMLPの代わりに使用する。
• 生成モデルと推論モデルをmMLPでパラメータ化し、ELBOを最適化することでVAEの目的関数を最適化する。
• 本モデルは2つの主要な分布をサポートする：全共分散行列を有する多変量正規分布と、多変量パワー指数分布（mPE）であり、対角行列や低ランク仮定を超えた柔軟性を提供する。

実験結果

リサーチクエスチョン

• RQ1 非ユークリッド幾何を保ちながら、対称正定値（SPD）行列を学習できる深層ニューラルネットワークを設計できるか？
• RQ2 深層ネットワークのすべての層にわたりSPD制約を維持できるように、逆誤差伝搬をどのように適合できるか？
• RQ3 VAEの識別ネットワークと生成ネットワークの両方で、柔軟で密行列の共分散行列を許容することで、尤度と分離性が向上するか？
• RQ4 識別ネットワークの柔軟性を高めるのと、生成ネットワークの柔軟性を高めるのとで、VAE性能にどのような影響があるか？
• RQ5 mMLPは、計算の実行可能性を保ちつつ、実世界のデータに対しても効果的に適用可能か？

主な発見

• mMLPはPDカーネルとα-導出に基づく逆誤差伝搬を用いて、すべての層でSPD制約を厳密に守り、各段階で有効な行列出力を保証する。
• 最も柔軟なモデルバージョン（識別・生成ネットワーク両方に全共分散を有するmPE-mPE）が、最高の尤度と最大のKLDを達成し、潜在空間における情報符号化が効果的であることを示している。
• mPEを用いた識別・生成ネットワークが、正規分布ベースのバージョンを上回る尤度と分離性を達成しており、柔軟なパラメトリック族の利点を示している。
• モデルの柔軟性が向上しても過学習の兆候は観察されず、複雑な共分散構造下でも堅牢な一般化性能を示している。
• mPE-mPEモデルで使用された高分散推定器（14）が、低分散代替案よりもわずかに性能が劣っている原因を説明しており、柔軟なモデルにおける推定の感受性を強調している。
• mMLPは合成データおよび実世界のデータの両方でSPD行列の有効な学習を可能にし、サンプル生成結果から潜在空間に意味のある構造が得られていることが確認された。