[論文レビュー] Max-Affine Spline Insights into Deep Generative Networks

Randall Balestriero, Sébastien Paris+1 more|arXiv (Cornell University)|Feb 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 60被引用数 4

ひとこと要約

本稿は、深層生成ネットワーク（DGNs）と最大アフィンスプライン作用素（MASOs）を理論的に結びつける枠組みを確立し、生成データの形状を規定する区分的アフィン多様体の役割を明らかにした。出力密度およびエントロピーの解析的表現を導出し、尤度計算を可能にするとともに、低エントロピーまたはマルチモーダルな分布のモデリングにおける限界を露呈し、分離性および学習安定性に及ぼす影響を示した。

ABSTRACT

We connect a large class of Generative Deep Networks (GDNs) with spline operators in order to derive their properties, limitations, and new opportunities. By characterizing the latent space partition, dimension and angularity of the generated manifold, we relate the manifold dimension and approximation error to the sample size. The manifold-per-region affine subspace defines a local coordinate basis; we provide necessary and sufficient conditions relating those basis vectors with disentanglement. We also derive the output probability density mapped onto the generated manifold in terms of the latent space density, which enables the computation of key statistics such as its Shannon entropy. This finding also enables the computation of the GDN likelihood, which provides a new mechanism for model comparison as well as providing a quality measure for (generated) samples under the learned distribution. We demonstrate how low entropy and/or multimodal distributions are not naturally modeled by DGNs and are a cause of training instabilities.

研究の動機と目的

• 深層生成ネットワーク（DGNs）と最大アフィンスプライン作用素（MASOs）を結びつける理論的枠組みを構築し、構造的理解を向上させること。
• DGNにおける生成データの内在次元、角度構造、多様体分割を特徴づけること。
• 生成多様体上での出力確率密度およびシャノンエントロピーの解析的表現を導出すること。
• 局所的アフィン基底ベクトルの観点から分離性の必要十分条件を確立すること。
• DGNが低エントロピーまたはマルチモーダルな分布をモデリングする際の限界を明らかにし、それらが学習不安定性に繋がることを示すこと。

提案手法

• DGNsを最大アフィンスプライン作用素（MASOs）の合成としてモデル化し、これらは連続的区分的アフィン（CPA）関数である。
• 各層をR個のアフィン変換の点ごとの最大値として表現する：$\text{MASO}(\bm{u};\{\bm{A}_r,\bm{b}_r\}_{r=1}^R) = \max_r \bm{A}_r\bm{u} + \bm{b}_r$。
• 潜在空間が多面体領域に分割される様子を分析し、各領域が特定の活性アフィン写像に対応することを示す。
• 生成マップのヤコビアン行列式を導出し、変数変換を用いて潜在密度から出力密度を計算する。
• 各領域における局所的アフィン基底ベクトルを用いて座標系を定義し、角度制約を用いて分離性を分析する。
• この枠組みをドロップアウトおよびドロップコネクトの分析に適用し、生成器次元における混合モデルを誘発することを示した。

実験結果

リサーチクエスチョン

• RQ1 DGNの区分的アフィン構造は、生成多様体の内在次元および幾何にどのように影響するか？
• RQ2 局所的アフィン基底ベクトルにどのような条件が満たされると、潜在空間での分離性が保証されるか？
• RQ3 生成多様体上での出力確率密度およびシャノンエントロピーをどのように解析的に計算できるか？
• RQ4 なぜ低エントロピーまたはマルチモーダルな分布はDGNの学習不安定性を引き起こすのか？
• RQ5 ドロップアウトおよび重み共有は、過パラメータ化されているにもかかわらず、生成多様体の曲率をどのように制限するのか？

主な発見

• 生成多様体の内在次元は、活性アフィン領域の数とそれらの角度的関係によって決定され、潜在空間のサイズによって上限が与えられる。
• 本稿では、生成多様体上での出力確率密度の解析的表現を導出し、尤度計算やモデル比較を可能にした。
• 出力密度のシャノンエントロピーは、DGNが複雑で低エントロピーな分布を生成する難易度を評価する新しい指標を提供する。
• 低エントロピーおよびマルチモーダルな分布は、標準的なDGNではうまくモデリングできず、多様体幾何の不一致が学習不安定性を引き起こす。
• DGNにおける重み共有は、ネットワークが極めて過パラメータ化されていようとも、生成多様体の曲率を著しく制限する。
• ドロップアウトおよびドロップコネクトの両方とも、次元およびパラメータが異なるDGNの混合モデルを生成するが、ドロップコネクトはエントリごとのノイズ適用のため、生成器次元の低下がより抑制される。