[論文レビュー] Towards Building Deep Networks with Bayesian Factor Graphs

Amedeo Buonanno, F. Palmieri|arXiv (Cornell University)|Feb 16, 2015

Bayesian Modeling and Causal Inference参考文献 40被引用数 4

ひとこと要約

この論文は、画像の多段階表現を学習するために2次元格子上の階層的潜在変数モデル（LVM）を用いた、ベイジアン要因グラフの縮約正規形（FGrn）に基づく深層学習アーキテクチャを提案する。局所的信念伝搬とSISOブロック内での学習を採用することで、未学習データに対する強力な一般化性能を示す、柔軟でモジュール型の深層ネットワークを実現した。

ABSTRACT

We propose a Multi-Layer Network based on the Bayesian framework of the Factor Graphs in Reduced Normal Form (FGrn) applied to a two-dimensional lattice. The Latent Variable Model (LVM) is the basic building block of a quadtree hierarchy built on top of a bottom layer of random variables that represent pixels of an image, a feature map, or more generally a collection of spatially distributed discrete variables. The multi-layer architecture implements a hierarchical data representation that, via belief propagation, can be used for learning and inference. Typical uses are pattern completion, correction and classification. The FGrn paradigm provides great flexibility and modularity and appears as a promising candidate for building deep networks: the system can be easily extended by introducing new and different (in cardinality and in type) variables. Prior knowledge, or supervised information, can be introduced at different scales. The FGrn paradigm provides a handy way for building all kinds of architectures by interconnecting only three types of units: Single Input Single Output (SISO) blocks, Sources and Replicators. The network is designed like a circuit diagram and the belief messages flow bidirectionally in the whole system. The learning algorithms operate only locally within each block. The framework is demonstrated in this paper in a three-layer structure applied to images extracted from a standard data set.

研究の動機と目的

• ベイジアン要因グラフに基づく柔軟でモジュール型の深層ネットワークアーキテクチャを、階層的表現学習のために開発すること。
• 局所的メッセージパッシングと信念伝搬を用いて、画像データにおける教師なし学習と推論を可能にすること。
• 不完全または未学習のテストデータに対して、モデルのパターン補完能力と一般化性能を実証すること。
• FGrnフレームワーク内で、複数スケールにわたり事前知識や教師信号の統合を検討すること。
• 完全に局所的な学習とメッセージパッシングメカニズムを用いて、計算的に効率的で分散計算に適したアーキテクチャを構築すること。

提案手法

• アーキテクチャは、各々がFGrnで実装されたSISOブロックとしての潜在変数モデル（LVM）のクアッドツリー階層として構築される。
• 各LVMブロックは、局所的統計に基づいてパラメータを更新する和積信念伝搬を用いて局所的学習を実行する。
• ネットワークは多層構造となっており、上位層はリプレカレータおよびソースユニットを介して下位層の特徴を合成する。
• 推論は双方向信念伝搬により実行され、生成的・判別的・補完モードのいずれの動作も可能である。
• 学習は完全に局所的である：各SISOブロックは、局所データとメッセージパッシング統計に基づいて独立にパラメータを更新する。
• フレームワークは、追加の変数タイプを用いることで、任意のレイヤーで事前知識や教師ラベルの統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 局所的学習を用いたベイジアン要因グラフフレームワークは、画像データにおける効果的な階層的表現学習を達成できるか？
• RQ2 FGrnベースのネットワークは、不完全または破損した入力パッチに対してどの程度のパターン補完性能を示すか？
• RQ3 教師なし学習で訓練されたモデルが、未学習のテストデータに対してどの程度一般化できるか？
• RQ4 FGrnフレームワークのモularityと柔軟性は、異なるスケールで事前知識や教師信号を統合するのをどの程度支援するか？
• RQ5 FGrnアーキテクチャを大規模な画像処理にスケーリングする際、分散または並列実装において計算的に実行可能か？

主な発見

• モデルは階層的表現を効果的に学習しており、Layer 1は初期視覚皮質応答に類似した単純な方向性パターンを捉えている。
• Layer 3では、前方分布が下位特徴から構成された複雑な構造を反映しており、プリミティブな特徴の有効な合成が行われていることが示された。
• トレーニングパッチにおけるパターン補完は高い忠実度を達成しており、保存された構造的知識を用いて欠落した画素を復元した。
• 訓練済みのパッチとは全く異なるテストセットパッチに対しても一般化が有効に機能し、耐障害性と転移学習能力を示した。
• 最大50％の画素が欠落したパターンの再構成が可能であることは、アソシエイティブメモリと推論力の強さを裏付けた。
• 局所的学習とメッセージパッシングメカニズムにより、効率的で分散計算に適した計算が可能となり、大規模なビジョンタスクへのスケーラビリティを実現した。