[論文レビュー] Structure and Performance of Fully Connected Neural Networks: Emerging Complex Network Properties

Leonardo Scabini, Odemir Martinez Bruno|arXiv (Cornell University)|Jul 29, 2021

Advanced Memory and Neural Computing被引用数 8

ひとこと要約

本稿では、完全結合ニューラルネットワーク（FNN）を分析するための複雑ネットワーク（CN）フレームワークを提案する。各ネットワークをニューロンとシナプスの重み付き無向グラフとしてモデル化し、中心性測度を計算するとともにBag-of-Neurons（BoN）アプローチを導入することで、性能に関連するトポロジー的特徴を持つ6種類のニューロン型を同定した。サブグラフ中心性とクラスタリングは、多様なビジョンベンチマークにおいて分類精度と強く相関していることが示された。

ABSTRACT

Understanding the behavior of Artificial Neural Networks is one of the main topics in the field recently, as black-box approaches have become usual since the widespread of deep learning. Such high-dimensional models may manifest instabilities and weird properties that resemble complex systems. Therefore, we propose Complex Network (CN) techniques to analyze the structure and performance of fully connected neural networks. For that, we build a dataset with 4 thousand models and their respective CN properties. They are employed in a supervised classification setup considering four vision benchmarks. Each neural network is approached as a weighted and undirected graph of neurons and synapses, and centrality measures are computed after training. Results show that these measures are highly related to the network classification performance. We also propose the concept of Bag-Of-Neurons (BoN), a CN-based approach for finding topological signatures linking similar neurons. Results suggest that six neuronal types emerge in such networks, independently of the target domain, and are distributed differently according to classification accuracy. We also tackle specific CN properties related to performance, such as higher subgraph centrality on lower-performing models. Our findings suggest that CN properties play a critical role in the performance of fully connected neural networks, with topological patterns emerging independently on a wide range of models.

研究の動機と目的

• 複雑ネットワーク（CN）技術を用いて、完全結合ニューラルネットワークの構造的要因と性能の関係を調査すること。
• 多様なコンピュータビジョンベンチマークにおいて、モデルの精度に関連するニューロンのトポロジー的特徴を同定すること。
• トポロジカル中心性パターンに基づいてニューロン型を検出するためのBag-of-Neurons（BoN）フレームワークを開発すること。
• CNの性質がターゲットドメインに依存せず、ネットワーク性能に影響を与えるかどうかを検証すること。
• トポロジカル解析を通じて、説明可能なAIおよびより良いニューラルネットワーク設計の基盤を提供すること。

提案手法

• 各完全結合ニューラルネットワークを、ニューロンをノード、シナプスをエッジとする重み付き無向グラフとしてモデル化する。
• トレーニング後、各隠れ層ニューロンに対して8つの中心性測度（例：強さ、サブグラフ中心性、二部グラフクラスタリング）を計算する。
• 各ニューロンごとに、最も情報量の多い3つの中心性測度を連結してBag-of-Neurons（BoN）記述子を作成する。
• MNIST、Fashion-MNIST、CIFAR10、KTH-TIPSの4,000個のトレーニング済みモデル全体にわたるBoN記述子のクラスタリングにより、ニューロン型を同定する。
• 異なるベンチマーク間でのニューロン型分布の類似度を測定するために、Jensen-Shannon Divergence（JSD）を用いる。
• 分類精度との相関関係を評価するため、中心性測度と分類精度を比較し、上位および下位100モデルの線形分離可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 完全結合ニューラルネットワークにおける複雑ネットワークの性質は、分類性能と相関しているか？
• RQ2 異なるビジョンタスクにわたって、一貫したトポロジカル特徴を持つ明確に区別できるニューロン型を同定できるか？
• RQ3 ニューロン型の分布はモデルの性能にどの程度依存しており、異なるベンチマーク間で一貫性を示すか？
• RQ4 どの中心性測度がネットワーク精度を最も予測可能にし、上位および下位モデルを線形分離するのにも使用できるか？
• RQ5 ターゲットタスクに依存せず、安定したクロスドメインのニューロントポロジー組織が存在するか？

主な発見

• ネットワーク性能を予測するのに最も関連する情報は、強さ、二部グラフクラスタリング、サブグラフ中心性という3つの中心性測度に集約される。
• サブグラフ中心性とクラスタリング係数が高めのニューロンは、性能が低いモデルに顕著に多く存在する。
• Bag-of-Neurons（BoN）アプローチにより、異なるベンチマークおよびモデルアーキテクチャにわたって一貫して分布する6種類の明確なニューロン型が同定された。
• 高い標準偏差にもかかわらず、異なるベンチマーク間のニューロン型分布の平均Jensen-Shannon Divergence（JSD）は低く（約0.21–0.33）、タスク間で強いトポロジカル類似性が示された。
• 隠れ層全体の単一の中心性測度（例：サブグラフ中心性）の平均値を用いることで、上位および最悪の100モデルを高い精度で線形分離可能である。
• 本研究では、複雑ネットワークの性質がランダムではなく、性能と系として関連していることが示された。これは、ネットワークダイナミクスにおいて根本的な役割を果たしている可能性を示唆している。