[論文レビュー] Constructing deep neural networks by Bayesian network structure learning

Raanan Y. Rohekar, Shami Nisimov+3 more|arXiv (Cornell University)|Dec 3, 2018

Machine Learning and Data Classification参考文献 48被引用数 6

ひとこと要約

本論文は、深層ニューラルネットワークの深さとパラメータ数を削減して自動的に構築するためのベイジアンネットワーク構造学習手法を提案する。生成的グラフを学習し、その確率的逆写像を適用し、判別的構造を導出することで、条件付き独立性を保持し、標準的なネットワークよりもはるかに小さなネットワークを用いて画像ベンチマークで最先端の精度を達成する。

ABSTRACT

We introduce a principled approach for unsupervised structure learning of deep neural networks. We propose a new interpretation for depth and inter-layer connectivity where conditional independencies in the input distribution are encoded hierarchically in the network structure. Thus, the depth of the network is determined inherently. The proposed method casts the problem of neural network structure learning as a problem of Bayesian network structure learning. Then, instead of directly learning the discriminative structure, it learns a generative graph, constructs its stochastic inverse, and then constructs a discriminative graph. We prove that conditional-dependency relations among the latent variables in the generative graph are preserved in the class-conditional discriminative graph. We demonstrate on image classification benchmarks that the deepest layers (convolutional and dense) of common networks can be replaced by significantly smaller learned structures, while maintaining classification accuracy—state-of-the-art on tested benchmarks. Our structure learning algorithm requires a small computational cost and runs efficiently on a standard desktop CPU.

研究の動機と目的

• 手動による設計を伴わず、原理的で未教師学習の方法により深層ニューラルネットワークアーキテクチャを学習すること。
• ネットワークの深さと層間接続性を、入力データ分布における条件付き独立性の階層的符号化と解釈すること。
• 標準的なネットワークにおける畳み込み層および全結合層のサイズを縮小しながら分類性能を維持すること。
• 生成的グラフから判別的グラフに変換する際、潜在変数間の条件付き依存構造が保持されることを保証すること。
• 最小限の計算コストで、標準的なデスクトップCPU上で効率的な構造学習が可能になるようにすること。

提案手法

• 深層ニューラルネットワーク構造学習をベイジアンネットワーク構造学習として定式化し、確率的グラフィカルモデルの利点を活用する。
• まず、入力データ分布に内在する条件付き独立性を符号化する生成的グラフィカルモデルを学習する。
• 潜在変数を観測出力にマッピングするため、生成的グラフの確率的逆写像を構築する。
• 判別的グラフは生成的構造から導出され、潜在変数間の条件付き依存関係が保持される。
• 生成的モデルの確率的構造を活用することで、直接的な判別的構造学習を回避する。
• 最終的なネットワークアーキテクチャは、学習された判別的グラフから導出され、深さと接続性は下位の条件付き独立性構造によって決定される。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワーク構造学習を用いて、原理的かつ未教師学習の方法で深層ニューラルネットワークアーキテクチャを学習可能か？
• RQ2 生成的グラフから判別的グラフに移行する際、条件付き依存関係を保持することで分類性能が維持または向上するか？
• RQ3 得られるネットワークは、標準的なアーキテクチャと比較して顕著に小さく、かつ最先端の精度を達成できるか？
• RQ4 提案手法は、標準的なハードウェア上で実用的デプロイメントに耐えうるほど計算効率が高いか？
• RQ5 学習されたネットワークの深さと接続性は、入力データにおける条件付き独立性構造とどのように関係しているか？

主な発見

• 提案手法は、標準的なアーキテクチャと比較して、最も深い層におけるパラメータ数を顕著に削減した深層ニューラルネットワークを効果的に構築できた。
• 学習されたネットワークは、テストされた画像分類ベンチマークで最先端の分類精度を維持した。
• 生成的モデルにおける潜在変数間の条件付き依存関係が、最終的な判別的ネットワークに正確に保持された。
• 構造学習アルゴリズムは、標準的なデスクトップCPU上で低コストで効率的に実行された。
• 最終ネットワークの深さと接続性は、入力データ分布における条件付き独立性構造によって本質的に決定された。