[論文レビュー] Clusterability in Neural Networks

Daniel Filan, Stephen Casper+4 more|arXiv (Cornell University)|Mar 4, 2021

Neural Networks and Applications参考文献 39被引用数 5

ひとこと要約

この論文は、重み行列におけるスペクトルクラスタリングを用いて定義される、ニューラルネットワークにおけるクラスタビリティのグラフ理論的測度を導入し、訓練済みネットワークがランダムまたはシャッフルされたものよりも顕著にクラスタビリティが高いことを示している。正則化および初期化を用いることでクラスタビリティを向上させることができ、精度の低下を最小限に抑えつつ、ネットワークの解釈可能なモジュラー分解を可能にしている。

ABSTRACT

The learned weights of a neural network have often been considered devoid of scrutable internal structure. In this paper, however, we look for structure in the form of clusterability: how well a network can be divided into groups of neurons with strong internal connectivity but weak external connectivity. We find that a trained neural network is typically more clusterable than randomly initialized networks, and often clusterable relative to random networks with the same distribution of weights. We also exhibit novel methods to promote clusterability in neural network training, and find that in multi-layer perceptrons they lead to more clusterable networks with little reduction in accuracy. Understanding and controlling the clusterability of neural networks will hopefully render their inner workings more interpretable to engineers by facilitating partitioning into meaningful clusters.

研究の動機と目的

• 訓練済みニューラルネットワークにおける内部モジュラリティの測度として、クラスタビリティを定義し、定量化すること。
• 訓練済みネットワークがランダムな重み分布を越えて構造的組織性を示すかどうかを調査すること。
• モデルの精度を損なわずにクラスタビリティを向上させる訓練手法を開発すること。
• ニューラルネットワークを機能的に意味のあるクラスタに解釈可能な形で分解することを可能にすること。
• クラスタビリティが多様なアーキテクチャおよびデータセットに対して一貫性を示すかどうかを評価すること。

提案手法

• ニューロンまたはチャネル間の絶対的重み値を用いて、重み付き無向グラフとしてニューラルネットワークを表現する。
• 分割の品質を評価するために、正規化カット（n-cut）測度を用いたスペクトルクラスタリングを適用する。
• 絶対的クラスタビリティをネットワークの実際の重みのn-cutスコアとして定義し、相対的クラスタビリティをシャッフルされた重み順列との比として定義する。
• 低重みのクラスタ間エッジと高重みのクラスタ内エッジを促進するクラスタビリティ正則化損失を導入する。
• 勾配更新後に正規化ステップを実装し、重みノルムの不変性を維持し、クラスタビリティ最適化における自明なスケーリングアーチファクトを防止する。
• アルゴリズム的初期化を用いて、学習開始時からクラスタビリティの高い重み構造を促進する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みニューラルネットワークは、ランダムに初期化されたネットワークやシャッフルされたネットワークよりも高いクラスタビリティを示すか？
• RQ2 アーキテクチャ的または訓練の修正を加えることで、精度を落とさずにクラスタビリティを向上させられるか？
• RQ3 ImageNetで学習されたVGG、ResNet、Inceptionなどの異なるネットワークアーキテクチャにおいて、クラスタビリティは一貫しているか？
• RQ4 重みのプルーニングとドロップアウトは、訓練済みモデルの相対的クラスタビリティにどのように影響するか？
• RQ5 クラスタビリティは、データ分布や活性化パターンとは独立した、学習された重みの性質であるとまではどの程度言えるか？

主な発見

• 訓練済みのマルチレイヤーパーセプトロン（MLP）は、ランダムに初期化されたネットワークよりも顕著にクラスタビリティが高く、相対的クラスタビリティはしばしばすべての50個のシャッフルベースラインを上回る。
• ドロップアウトと重みプルーニングを用いて訓練されたMLPは、100回の試行において99％のシャッフルネットワークを上回る高い相対的クラスタビリティを示す。
• 大規模なImageNetモデル（VGG、ResNet、Inception）は、同じ重み分布の100個のシャッフルバージョンのうち99個よりもクラスタビリティが高い。
• CIFAR-10で学習された中規模のVGGは、ドロップアウトとプルーニングを適用した場合、相対的クラスタビリティにおいてすべての50個のシャッフルネットワークを上回る。
• クラスタビリティ正則化とクラスタブルな初期化は、MLPにおいてモジュラリティを向上させつつ、精度の低下を最小限に抑える。
• 提案された正規化ステップにより、重みノルムの不変性が維持され、クラスタビリティ最適化における自明なスケーリングアーチファクトが防止される。