[論文レビュー] Understanding Community Structure in Layered Neural Networks

Chihiro Watanabe, Kaoru Hiramatsu+1 more|arXiv (Cornell University)|Apr 13, 2018

Neural Networks and Applications参考文献 24被引用数 3

ひとこと要約

この論文は、入力からコミュニティおよびコミュニティから出力への影響を定義することで、階層的ニューラルネットワークにおけるコミュニティの役割を定量化する手法を提案する。これにより、モジュラー構造の正確な分析が可能となり、しきい値依存のコミュニティ検出法の限界を克服し、ハイパーパrameterの変更に関わらず一貫性があり解釈可能な洞察を提供する。

ABSTRACT

A layered neural network is now one of the most common choices for the prediction of high-dimensional practical data sets, where the relationship between input and output data is complex and cannot be represented well by simple conventional models. Its effectiveness is shown in various tasks, however, the lack of interpretability of the trained result by a layered neural network has limited its application area. In our previous studies, we proposed methods for extracting a simplified global structure of a trained layered neural network by classifying the units into communities according to their connection patterns with adjacent layers. These methods provided us with knowledge about the strength of the relationship between communities from the existence of bundled connections, which are determined by threshold processing of the connection ratio between pairs of communities. However, it has been difficult to understand the role of each community quantitatively by observing the modular structure. We could only know to which sets of the input and output dimensions each community was mainly connected, by tracing the bundled connections from the community to the input and output layers. Another problem is that the finally obtained modular structure is changed greatly depending on the setting of the threshold hyperparameter used for determining bundled connections. In this paper, we propose a new method for interpreting quantitatively the role of each community in inference, by defining the effect of each input dimension on a community, and the effect of a community on each output dimension. We show experimentally that our proposed method can reveal the role of each part of a layered neural network by applying the neural networks to three types of data sets, extracting communities from the trained network, and applying the proposed method to the community structure.

研究の動機と目的

• 階層的ニューラルネットワーク（LNN）における解釈性の欠如、特に検出されたコミュニティの機能的役割を理解するための課題に対処すること。
• ハイパーパrameterの選択に応じてモジュラー構造が変化する、しきい値依存のコミュニティ検出法の不安定さと主観性を克服すること。
• 各入力次元がコミュニティに与える影響および各コミュニティが出力次元に与える影響を測定する定量的フレームワークを構築すること。
• ヒューリスティックな束ねられた接続しきい値の代わりに、効果に基づくコミュニティ役割の定量化を用いることで、LNNの分析を一貫性があり解釈可能なものにすること。

提案手法

• 各入力次元がコミュニティに与える影響および各コミュニティが出力次元に与える影響を定量化するための入力効果および出力効果の測定を導入する。
• 接続重みの重み付き和を用いてコミュニティレベルの影響を定義する：$\tau^{\prime+}_{c,j} = \frac{\sum_k B^{+}_{k,j} q_{k,c}}{\sum_k q_{k,c}}$ および $\tau^{\prime-}_{c,j} = \frac{\sum_k B^{-}_{k,j} q_{k,c}}{\sum_k q_{k,c}}$ ここで $q_{k,c}$ はコミュニティ所属を表す。
• 期待尤度を最大化するための期待最大化（EM）アルゴリズムを用い、コミュニティ検出の試行を繰り返し、最良のコミュニティ構造を選択する。
• 訓練の安定化と一般化性能の向上のため、正規化されたデータとLASSO正則化を用いる。
• コミュニティ検出の過程での収束の安定性を確保するため、実験では固定された訓練順序を採用する。
• 合成データ、消費者物価指数、画像分類の3つのデータセットを用いて妥当性を検証し、線形モデルと結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 単なる接続パターンを超えて、階層的ニューラルネットワーク内の各コミュニティの機能的役割をどのように定量的に測定できるか？
• RQ2 提案手法の効果に基づくアプローチは、しきい値依存の束ねられた接続分析に比べ、より安定的で解釈可能なコミュニティ解釈をもたらすか？
• RQ3 この手法は、推論におけるコミュニティの実際の寄与を反映する意味のある入出力関係を明らかにできるか？
• RQ4 高次元データにおける複雑な入出力関係を捉える観点で、この手法は線形モデルと比較してどのように優れているか？
• RQ5 特にしきい値依存手法が失敗する状況においても、コミュニティ構造の解釈がハイパーパrameterの設定に依存せず安定しているか？

主な発見

• 提案手法は、各入力次元がコミュニティに与える影響および各コミュニティが出力次元に与える影響を正確に定量化でき、役割の明確な解釈を可能にした。
• この手法は、ハイパーパrameterの変更に関わらず一貫したコミュニティ解釈を提供し、しきい値依存手法で見られる不安定性を解消した。
• 消費者物価指数データセットにおいて、階層的ニューラルネットワークは線形モデルよりも低い一般化誤差を達成し、複雑で高次元なデータに対して優れた性能を示した。
• 線形モデルは入力データが29か月の時点で一般化誤差が最小となったが、階層的ニューラルネットワークは全テスト期間でそれを上回った。
• この手法は、束ねられた接続のみに依存するのではなく、コミュニティレベルの効果がより情報量が多く、推論における機能的役割をより明確に理解できることが明らかになった。