[論文レビュー] Deep Adversarial Belief Networks

Yuming Huang, Ashkan Panahi+3 more|arXiv (Cornell University)|Sep 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 4

ひとこと要約

この論文は、生成対抗ネットワーク（GAN）の生成器を深層信念ネットワーク（DBN）に置き換えることで、バックプロパゲーションを不要とし、並列化可能な訓練フレームワークを提案する。この手法は、特にデータが限られた場合に優れたスケーラビリティと一般化性能を達成し、事前学習にDBNを用いることで、標準の畳み込みニューラルネットワーク（CNN）を上回る分類性能を示す。また、プーリングや正規化といった正則化ユニットの柔軟な統合も可能である。

ABSTRACT

We present a novel adversarial framework for training deep belief networks (DBNs), which includes replacing the generator network in the methodology of generative adversarial networks (GANs) with a DBN and developing a highly parallelizable numerical algorithm for training the resulting architecture in a stochastic manner. Unlike the existing techniques, this framework can be applied to the most general form of DBNs with no requirement for back propagation. As such, it lays a new foundation for developing DBNs on a par with GANs with various regularization units, such as pooling and normalization. Foregoing back-propagation, our framework also exhibits superior scalability as compared to other DBN and GAN learning techniques. We present a number of numerical experiments in computer vision as well as neurosciences to illustrate the main advantages of our approach.

研究の動機と目的

• ギブスサンプリングと最尤推定に基づく従来のDBN訓練法に見られる収束の遅さと、正則化の柔軟性の欠如を解消すること。
• 畳み込みニューラルネットワーク（DNN）で一般的に用いられるプーリングや正規化といった高度な正則化ユニットを、バックプロパゲーションを排除することでDBNに統合可能にする。
• GANにインspiredされた確率的で階層的最適化フレームワークを用いることで、DBN訓練のスケーラビリティと数値的効率を向上させること。
• 生物学的ニューロンスパイクトレースや低データ量のビジョンタスクといった複雑でスパースなデータのモデリングにおいて、DBNの有効性を実証すること。
• GANと同等の性能と柔軟性を備えつつも、ベイジアンで生成的かつ可逆的な性質を保持する、DBNのための新しい訓練パラダイムを確立すること。

提案手法

• 生成対抗ネットワーク（GAN）の生成器を深層信念ネットワーク（DBN）に置き換えることで、深層敵対的信念ネットワーク（DABN）を構築する。
• ディスクライマーが実データとDBNが生成したサンプルを区別する敵対的訓練目的関数を採用し、DBNを介したバックプロパゲーションを不要とし、エンドツーエンドの最適化を可能にする。
• 階層ごとの確率的で並列化可能な訓練アルゴリズムを採用することで、従来のDBN訓練に比べてスケーラビリティを大幅に向上させる。
• 条件付きGANやWGANを含むさまざまなGANの変種に対しても敵対的フレームワークを適用し、現代の最適化手法と互換性を持つことを保証する。
• DBNに対称的かつ可逆的な推論メカニズムを導入することで、生成と推論の両方が可能となり、特徴抽出やノイズ除去などの応用が可能になる。
• 敵対的訓練フレームワークを活用することで、畳み込みニューラルネットワーク（DNN）で一般的に用いられる正則化技術（プーリングや正規化など）をDBNアーキテクチャに統合する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練をDBNに効果的に適用することで、バックプロパゲーションを排除し、訓練効率を向上させることができるか？
• RQ2 提案されたフレームワークは、DNNと同様にプーリングや正規化といった正則化ユニットをDBNに統合できるか？
• RQ3 DBNの敵対的訓練は、標準のDBNやCNN訓練と比較して、特に訓練データが限られた場合に優れた一般化性能を示すか？
• RQ4 DBNに基づく生成モデルは、スパースな生物学的ニューロンスパイクデータの統計的性質を効果的に捉えられるか？
• RQ5 DBNで事前学習した重みを用いて微調整されたCNNの性能は、訓練データが限られた場合に標準のCNNを上回るか？

主な発見

• 100件のMNISTデータセットで学習した場合、DBNで事前学習したCNNは77.772%の正確度（標準偏差1.501%）を達成し、標準のCNN（70.037%、標準偏差6.32%）を大きく上回った。
• 1,000件の訓練データで学習した場合、DBNで事前学習したCNNは96.081%の正確度（標準偏差0.622%）を達成した。これに対して標準のCNNは94.625%（標準偏差0.355%）であった。収束性と一般化性能の両面で優位性が確認された。
• 実際の神経スパイクデータの対数尤度が学習中に上昇したため、潜在的な確率分布の有効なモデリングが行われたことが裏付けられた。
• DBNが生成した発火確率は、マウス視覚皮質ニューロンの実際の発火頻度とよく一致しており、全体のスパイク率が非常に低く（約100フレームに1回）ても正確に再現された。
• バックプロパゲーションを一切用いずに、畳み込み層と全結合層を含む複雑なDBN（4層の畳み込みDBNおよび4層の全結合DBN）を効果的に訓練できた。
• この手法は、条件付きGANやWGANを含む複数のGAN変種と互換性があり、さまざまな最適化手法や訓練スキームをサポートした。