[論文レビュー] Sparsity in Variational Autoencoders

Andrea Asperti|arXiv (Cornell University)|Dec 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 8

ひとこと要約

この論文は、変分オートエンコーダー（VAEs）におけるスパarsityを「過剰な刈り込み（over-pruning）」のような欠陥ではなく、顕著な特徴に注目させ、過学習を軽減する有益な自己正則化の形態として再解釈する。カルバック・ライブラー（Kullback-Leibler）ダイバージェンス項は高次元の潜在空間においてスパarsityを内蔵的に誘導し、著者らは潜在次元数を調整することでモデル容量を最適化する手法を提唱する。畳み込みアーキテクチャでは空間的特徴相関のため、スパarsityがやや低くなる。

ABSTRACT

Working in high-dimensional latent spaces, the internal encoding of data in Variational Autoencoders becomes naturally sparse. We discuss this known but controversial phenomenon sometimes refereed to as overpruning, to emphasize the under-use of the model capacity. In fact, it is an important form of self-regularization, with all the typical benefits associated with sparsity: it forces the model to focus on the really important features, highly reducing the risk of overfitting. Especially, it is a major methodological guide for the correct tuning of the model capacity, progressively augmenting it to attain sparsity, or conversely reducing the dimension of the network removing links to zeroed out neurons. The degree of sparsity crucially depends on the network architecture: for instance, convolutional networks typically show less sparsity, likely due to the tighter relation of features to different spatial regions of the input.

研究の動機と目的

• VAEにおけるスパarsityが一般的に「過剰な刈り込み（over-pruning）」と見なされる問題を、有益な自己正則化メカニズムとして再解釈すること。
• VAEの目的関数におけるカルバック・ライブラー（Kullback-Leibler）ダイバージェンス項が、高次元潜在空間において自然にスパarsityを誘導することを示すこと。
• 潜在次元数を段階的に増加または減少させることで、スパarsityをモデル容量チューニングの手法的指針として活用することを提唱すること。
• 畳み込み層などのアーキテクチャ的選択が、誘導されるスパarsityの度合いに与える影響を調査すること。
• 一時的な正則化手法を避けるべきであり、代わりに潜在変数の相関を低減し、スパarsityの利点を高めるためのアーキテクチャ的改善を推奨すること。

提案手法

• 論文はVAEの目的関数、特にエビデンス下限界（ELBO）を分析し、正則化としてのKLダイバージェンス項 $KL(Q(z|X) \|\| P(z))$ の役割に注目する。
• 高次元潜在空間では、KL項が多くの潜在変数をゼロに近づけるよう促進し、入力に依存しないスパースな表現を生じさせることを示している。
• 著者らはこのスパarsityを診断ツールとして利用：再構成性能は良いが生成性能が悪い場合、集約事後分布 $Q(z)$ と事前分布 $P(z)$ の不一致を示している。
• 2段階VAEアプローチを提案：2番目のVAEが $Q(z)$ を近似するように学習させ、$P(z)$ と $Q(z)$ が不一致であっても高品質な生成が可能になる。
• 潜在次元数の段階的チューニングを含む手法：スパarsityを達成するために次元数を増加する、または使用されないニューロンや接続を削除して次元数を減少させる。
• スパarsity度合いへのアーキテクチャ的影響を評価するため、密接なネットワークと畳み込みネットワークの間で実験的比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 VAEで観察されるスパarsityは、能力の未活用の兆候なのか、それとも有益な自己正則化の形態なのか？
• RQ2 VAEの目的関数におけるKLダイバージェンス項が、高次元潜在空間においてどれほど自然にスパarsityを誘導するのか？
• RQ3 スパarsityをVAEにおけるモデル容量チューニングの手法的指針として利用可能か？
• RQ4 畳み込み層のようなアーキテクチャ的選択が、VAEの潜在表現におけるスパarsityの度合いに与える影響は？
• RQ5 KL正則化項を削除するか、代替の正則化スキームを採用することで生成性能が向上するのか、それともモデルの頑健性が損なわれるのか？

主な発見

• VAEの目的関数におけるKLダイバージェンス項は、高次元潜在空間において自然にスパarsityを誘導し、コンパクトで頑健な表現を生み出す。
• スパarsityは自己正則化メカニズムとして機能し、過学習を軽減し、モデルが最も重要な特徴に注目するよう強制する。
• 畳み込みVAEは、潜在空間における空間的特徴相関が強いことから、全結合ネットワークよりもスパarsityが低くなる傾向がある。
• スパarsityの度合いは欠陥ではなく、モデル容量の整合性のサインである：スパarsityが高すぎる場合は、潜在次元数を増加させることで性能向上が可能である。
• 集約事後分布 $Q(z)$ と事前分布 $P(z)$ が不一致である場合、2段階VAEアプローチにより、最先端のGANと同等のFIDスコアを達成する高品質なサンプル生成が可能である。
• 論文は一時的な正則化手法を批判し、代わりに潜在空間のスパarsityをより効果的に活用できるアーキテクチャ的イノベーションを推奨する。