[論文レビュー] Clustering units in neural networks: upstream vs downstream information

Richard D. Lange, David Rolnick+1 more|arXiv (Cornell University)|Mar 22, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

本論文は、入力駆動（入力に依存する）または出力影響（出力に影響を与える）機能的類似性に基づいて隠れユニットをクラスタリングすることで、ニューラルネットワーク内の機能的モジュールを検出するフレームワークを提案する。ドロップアウトがモularityを顕著に向上させることを発見し、上流と下流の類似性測定法はほとんど重複しないクラスタを生成する。これは、入力駆動的および出力駆動的ニューラル表現の解釈に根本的な不整合があることを示している。

ABSTRACT

It has been hypothesized that some form of "modular" structure in artificial neural networks should be useful for learning, compositionality, and generalization. However, defining and quantifying modularity remains an open problem. We cast the problem of detecting functional modules into the problem of detecting clusters of similar-functioning units. This begs the question of what makes two units functionally similar. For this, we consider two broad families of methods: those that define similarity based on how units respond to structured variations in inputs ("upstream"), and those based on how variations in hidden unit activations affect outputs ("downstream"). We conduct an empirical study quantifying modularity of hidden layer representations of simple feedforward, fully connected networks, across a range of hyperparameters. For each model, we quantify pairwise associations between hidden units in each layer using a variety of both upstream and downstream measures, then cluster them by maximizing their "modularity score" using established tools from network science. We find two surprising results: first, dropout dramatically increased modularity, while other forms of weight regularization had more modest effects. Second, although we observe that there is usually good agreement about clusters within both upstream methods and downstream methods, there is little agreement about the cluster assignments across these two families of methods. This has important implications for representation-learning, as it suggests that finding modular representations that reflect structure in inputs (e.g. disentanglement) may be a distinct goal from learning modular representations that reflect structure in outputs (e.g. compositionality).

研究の動機と目的

• ニューラルネットワークにおける機能的モジュールを、同様に動作する隠れユニットのクラスタとして定式化すること。
• 上流（入力駆動）と下流（出力影響）の機能的類似性の定義を異にした場合、モジュール検出にどのように影響するかを調査すること。
• ドロップアウト、重み減衰、L1正則化などの正則化手法がモularityに与える影響を評価すること。
• 上流と下流のニューラルユニット類似性の定義の整合性を評価すること。
• 入力または出力の観点からニューラル表現が一様に解釈可能であるという仮定に疑問を呈すること。

提案手法

• 8種類の異なる上流および下流の測定法を用いて、隠れユニット間の対比較機能的類似性を定量化する。
• 各層に対してn×nの類似性行列を構築し、エントリはユニット対間の機能的類似性を反映する。
• ネットワーク科学に基づくクラスタリングアルゴリズムを用い、モularityスコアQ*を最大化することで、内部類似性が高いブロック（クラスタ）を同定する。
• Louvainアルゴリズムなどの確立済みモularity最適化ツールを用い、類似性行列に基づいてユニットをクラスタに割り当てる。
• MNIST上で250以上の全結合フィードフォワードネットワークを訓練し、ハイパーパrameterにわたる頑健性を評価する。
• 上流と下流の手法間でクラスタ割り当てを比較し、一貫性と整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 上流対比と下流対比の機能的類似性測定法は、ニューラルネットワーク内の同様に動作するユニットのクラスタを同定する上で、どのように比較されるか？
• RQ2 ドロップアウトは、重み減衰やL1ペナルティなどの他の正則化手法と比較して、どれほどモularityを向上させるか？
• RQ3 上流類似性測定法で同定されたクラスタは、下流類似性測定法で得られたクラスタと一致するか？
• RQ4 ネットワークの機能的モularityは、下流性能や一般化性能と相関するか？
• RQ5 上流の分離性（例：特徴固有のユニット活性化）という概念を、予測における因果的役割と意味的に整合させることは可能か？

主な発見

• ドロップアウトは、他の正則化手法と比較して、Q*で測定したモularityを顕著に向上させる。これは、ドロップアウトが冗長性を誘発し、クラスタ形成を促進するためである。
• ドロップアウトによるモularityへの主な影響は、ユニットのほぼ同一コピーを生成することに起因する。これらのユニットはドロップアウト下で同様に動作し、より高い機能的類似性を示す。
• 上流と下流の類似性測定法は、ほとんど重複しないクラスタ割り当てを生じさせ、入力駆動的および出力駆動的ニューラル機能の解釈に根本的な不整合があることを示している。
• 上流および下流の両手法において内部的一致性は高いが、両者の類似性測定法のファミリー間には最小限の一致がある。
• 結果から、分離可能な表現（上流）と因果的に効果的な表現（下流）は、訓練済みネットワークでさえも別個の概念であることが示唆される。
• 局所最適解やクラスタ割り当てとニューロン活性の相互作用のため、訓練中にモularityを最大化することは困難である。これは、ソフトクラスタリングが必須である可能性を示唆している。