[論文レビュー] Learning Sparse Deep Feedforward Networks via Tree Skeleton Expansion

Zhourong Chen, Xiaopeng Li+1 more|arXiv (Cornell University)|Mar 16, 2018

Bayesian Modeling and Causal Inference参考文献 23被引用数 3

ひとこと要約

本稿では、階層的潜在木モデル（HLTMs）を用いて相関する特徴群を特定することで、スパースで構造的な深層順方向ネットワークを教師なしで学習する新規手法であるツリー スケルトン拡張ネットワーク（TSE-Nets）を提案する。階層的潜在木解析（HLTA）により得られるツリー スケルトンから接続を拡張することで、手動でチューニングされたネットワークと同等またはそれ以上の分類精度を達成しながら、パラメータ数を著しく削減し、解釈可能性を向上させた。

ABSTRACT

Despite the popularity of deep learning, structure learning for deep models remains a relatively under-explored area. In contrast, structure learning has been studied extensively for probabilistic graphical models (PGMs). In particular, an efficient algorithm has been developed for learning a class of tree-structured PGMs called hierarchical latent tree models (HLTMs), where there is a layer of observed variables at the bottom and multiple layers of latent variables on top. In this paper, we propose a simple method for learning the structures of feedforward neural networks (FNNs) based on HLTMs. The idea is to expand the connections in the tree skeletons from HLTMs and to use the resulting structures for FNNs. An important characteristic of FNN structures learned this way is that they are sparse. We present extensive empirical results to show that, compared with standard FNNs tuned-manually, sparse FNNs learned by our method achieve better or comparable classification performance with much fewer parameters. They are also more interpretable.

研究の動機と目的

• 深層順方向ネットワーク（FNNs）における手動アーキテクチャ設計の課題に取り組むこと。これは時間のかかる作業であり、しばしば最適でない。
• 効率的で解釈可能なスパースで構造的なFNNを学習する教師なし手法を開発すること。
• 確率的グラフィカルモデル（PGMs）と階層的潜在木解析（HLTA）を活用し、ネットワーク構造学習のための潜在的な特徴相関を同定すること。
• データに内在する意味的または空間的な構造と整合する特徴グループの学習により、モデルの解釈可能性を向上させること。
• ツリー スケルトン拡張による構造学習が、標準FNNやプルーニング済みFNNと比較して、精度、スパarsity、解釈可能性の面で優れたモデルを生成することを示すこと。

提案手法

• 入力特徴を強い相関を持つグループに分割するため、階層的潜在木解析（HLTA）を適用し、各グループを潜在変数でモデル化することで、木構造のPGMを構築する。
• 得られた階層的潜在木モデル（HLTMs）からツリー スケルトンを構築し、FNNのコアな接続パターンを表現する。
• 初期スケルトンに含まれない顕著な確率的依存関係を捉えるために、追加のエッジを追加してツリー スケルトンを拡張する。
• 拡張されたPGMコアをFNNのバックボーンとして使用し、追加の隠れ層（層h₃）と出力ユニットを統合することで、すべての層からの直接的な特徴寄与を可能にする。
• h₃ニューロンを2種類に設計する：PGMコアの上部に接続されるもの（バックボーンを形成）と、下位層から出力への狭いスイープパスを提供するもの。
• データ相関から学習された構造にのみ依存し、事前学習や重みベースのプルーニングを一切行わず、エンドツーエンドで最終的なTSE-Netモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 階層的潜在木モデルに基づく教師なし構造学習は、手動で設計されたFNNと同等またはそれ以上の性能を達成するスパースなFNNを生成できるか？
• RQ2 TSE-Netsの隠れユニットの解釈可能性は、標準FNNやプルーニング済みFNNと比較して、学習された特徴の意味的整合性の観点でどのように異なるか？
• RQ3 空間情報を利用せずに、ツリー スケルトン拡張法が、MNISTにおける隣接ピクセルなど、データ内の空間的または構造的相関をどの程度正確に捉えることができるか？
• RQ4 同程度のパラメータ数を有する場合、TSE-Netsの性能は重みプルーニングベースの手法と比較してどうなるか？
• RQ5 提案手法は、テキスト、表形式、画像データなど多様なデータタイプに一般化可能であり、高い精度と低いパラメータ数を維持できるか？

主な発見

• 12のTox21タスクにおいて、TSE-Netsは手動でチューニングされたFNNと同等または優れた分類性能を示したが、パラメータ数は著しく少なかった。
• MNISTデータセットでは、空間座標を一切使用せずに、隣接するピクセルを意味的に整合性のあるクラスタにグループ化することができ、手書き数字の構造的パターンを反映していた。
• TSE-Netsは、標準FNNやプルーニング済みFNNよりも解釈性が高く、隠れユニットの上位10個の相関語の間で平均コサイン類似度が上昇していた（例：Yelpレビューでは0.1632、標準FNNでは0.1117）。
• Hanら（2015）の重みプルーニングベースラインと比較したところ、同じパラメータ数で同等の性能を達成したが、事前学習や反復的重み調整を一切必要としなかった。
• バックボーン構造と狭いスイープパスの組み合わせにより、効果的な特徴伝搬が可能になり、スパarsityと解釈可能性を維持した。
• 本手法は、テキスト（Yelp、DBPedia）、表形式（Tox21）、画像（MNIST）データセットを含む多様なデータタイプに強く一般化でき、一貫した効率性と解釈可能性の向上を示した。