[論文レビュー] Break It Down: Evidence for Structural Compositionality in Neural Networks

Michael A. Lepori, T. Serre+1 more|arXiv (Cornell University)|Jan 26, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

この論文は、ニューラルネットワークの構造的合成性（structural compositionality）を性質として導入し、モデルのpruningを通じて、多くの視覚および言語モデルがモジュラーで除去可能なサブネットワークを介してサブルーチンを実装していることを示している。主な発見は、モデルが複雑なタスクを離散的で機能的なコンponentsに分解する傾向があることであり、これは記号的メカニズムがなくても、暗黙的に合成性が実現されていることを示唆している。

ABSTRACT

Though modern neural networks have achieved impressive performance in both vision and language tasks, we know little about the functions that they implement. One possibility is that neural networks implicitly break down complex tasks into subroutines, implement modular solutions to these subroutines, and compose them into an overall solution to a task - a property we term structural compositionality. Another possibility is that they may simply learn to match new inputs to learned templates, eliding task decomposition entirely. Here, we leverage model pruning techniques to investigate this question in both vision and language across a variety of architectures, tasks, and pretraining regimens. Our results demonstrate that models often implement solutions to subroutines via modular subnetworks, which can be ablated while maintaining the functionality of other subnetworks. This suggests that neural networks may be able to learn compositionality, obviating the need for specialized symbolic mechanisms.

研究の動機と目的

• 現代のニューラルネットワークが、テンプレートマッチングではなく、モジュラーなサブネットワークを通じて暗黙的に合成的解決を実装しているかどうかを調査すること。
• 事前学習済みモデルに構造的合成性が現れるかどうか、および事前学習がそれにも与える影響を特定すること。
• サブルーチンをサポートするモジュラーなサブネットワークを検出・分析するための、pruningに基づく手法を開発・適用すること。
• 異なるサブルーチン用のサブネットワークが、互いに独立して除去可能であり、他のサブルーチンの機能が維持されるかどうかを評価すること。これによりモularityが示唆される。

提案手法

• 著者らは連続的スパース化と反復的pruningを用い、特定のサブルーチンで性能を維持するスパースサブネットワークを同定する。
• 構造的合成性を、あるサブルーチンでは高い正確性を達成するが、別のサブルーチンでは低い正確性を示すサブネットワークの存在として定義する。これは機能的モularityを示す。
• サブネットワークは重みをマスクし、特定のサブルーチン（例：視覚タスクにおける「inside」と「contact」）を要請する例での性能を評価することで発見される。
• サブルーチン間の性能差は、それぞれのサブルーチンを要請する例での正確性の差として測定され、正の差が合成的構造を示す。
• サブネットワークの重なりは、層ごとの交差率（IoU）を用いて定量化され、一貫性およびモularityの評価に用いられる。
• 分析は、視覚（ResNet50 on Number-Contact）および言語モデルに適用され、さまざまな事前学習レジームとの比較が行われる。

Figure 1: (Left) An illustration of the tasks used to study structural compositionality. Stimuli are generated via the composition of two subroutines: (+/- Inside) and (+/- Contact) . These stimuli are used to construct odd-one-out tasks, where the model is tasked with identifying the image that doe

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、異なるサブルーチンに対応するモジュラーかつ再利用可能なサブネットワークを通じて、複雑なタスクを実装しているか？
• RQ2 サブルーチンごとに独立してサブネットワークを除去可能であり、一方のサブルーチンの性能が低下するが、他方のサブルーチンの性能は安定したまま保たれるか？
• RQ3 自己教師あり事前学習は、微調整済みモデルにおける構造的合成性をどの程度向上させるか？
• RQ4 同じサブルーチンについて複数回の実行でサブネットワークがどの程度一貫しているか、また異なるサブルーチン間でどのように比較されるか？
• RQ5 異なるサブルーチン用のサブネットワークは、低重なりを示すか？これにより機能的分離が確認されるか？

主な発見

• pruningにより、多くのモデルがサブルーチンをモジュラーなサブネットワークで実装していることが明らかになった。サブルーチン間の性能差は、機能的特化を示している。
• 視覚タスクにおける「Inside」サブルーチンでは、サブネットワークのIoUが高く（例：backbone.layer4.0.conv1で0.974）、一貫性があり、モジュラーな構造であることが示された。
• 「Number」サブルーチンでは、IoUが低く（例：backbone.layer4.0.conv1で0.370）なっており、発見がノイジーまたは一貫性に欠けるが、それでも「Inside」タスクとは明確に異なる。
• タスク間のサブネットワーク重なりは一貫して低く（例：backbone.layer4.0.conv1で0.122）、異なるサブルーチン用のサブネットワークが機能的に分離されていることが確認された。
• prunedモデルは、完全なモデルと同様の構造的合成性のパターンを保持しており、この手法の堅牢性が裏付けられた。
• 自己教師あり事前学習は、言語モデルにおいてより一貫した合成的構造を生み出すことが示され、事前学習がモジュラー学習を支援している可能性を示唆した。

Figure 2: Illustration of the experimental design. For brevity, we denote “subroutine” as SR in the diagram. (A) First, we train a neural network on a compositional task (Inside-Contact) , ensuring that it can achieve high accuracy on the task. (B) We then optimize a binary mask over weights, such t