[논문 리뷰] Break It Down: Evidence for Structural Compositionality in Neural Networks

Michael A. Lepori, T. Serre외 1명|arXiv (Cornell University)|2023. 01. 26.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 신경망의 구조적 조합성(structural compositionality)을 성질로 도입하며, 모델 정련을 통해 많은 시각 및 언어 모델이 모듈형이고 제거 가능한 하위신경망을 통해 서브루틴을 구현함을 보여준다. 핵심 발견은 모델들이 종종 복잡한 작업을 이산적이고 기능적인 구성 요소들로 분해하기 때문에, 기호적 메커니즘 없이도 암묵적인 조합성이 존재한다는 것이다.

ABSTRACT

Though modern neural networks have achieved impressive performance in both vision and language tasks, we know little about the functions that they implement. One possibility is that neural networks implicitly break down complex tasks into subroutines, implement modular solutions to these subroutines, and compose them into an overall solution to a task - a property we term structural compositionality. Another possibility is that they may simply learn to match new inputs to learned templates, eliding task decomposition entirely. Here, we leverage model pruning techniques to investigate this question in both vision and language across a variety of architectures, tasks, and pretraining regimens. Our results demonstrate that models often implement solutions to subroutines via modular subnetworks, which can be ablated while maintaining the functionality of other subnetworks. This suggests that neural networks may be able to learn compositionality, obviating the need for specialized symbolic mechanisms.

연구 동기 및 목표

• 현대 신경망이 템플릿 매칭이 아닌 모듈형 하위신경망을 통해 암묵적으로 조합적 솔루션을 구현하는지 조사하기.
• 사전학습된 모델에서 구조적 조합성이 나타나는지, 그리고 사전학습이 이를 어떻게 영향을 주는지 규명하기.
• 서브루틴을 지원하는 모듈형 하위신경망을 탐지하고 분석하기 위한 정련 기반 방법을 개발하고 적용하기.
• 다른 서브루틴을 위한 하위신경망을 독립적으로 제거했을 때, 한 서브루틴의 성능은 떨어지지만 다른 서브루틴의 성능은 유지되는지 평가하기 — 이는 모ularity를 시사한다.

제안 방법

• 저자는 연속적인 희소화와 반복적 정련을 사용하여 특정 서브루틴에서 성능를 유지하는 희소 하위신경망을 식별한다.
• 구조적 조합성을, 한 서브루틴에서는 높은 정확도를 달성하지만 다른 서브루틴에서는 낮은 정확도를 보이는 하위신경망의 존재로 정의한다 — 이는 기능적 모듈성이 있음을 시사한다.
• 하위신경망은 가중치를 마스킹하고 특정 서브루틴이 필요한 예시들에서 성능을 평가함으로써 발견된다 (예: 시각 작업에서 '내부에 있는가' 대비 '접촉하는가').
• 서브루틴 간 성능 차이는 각 서브루틴이 요구하는 예시에서의 정확도 차이로 측정되며, 양수의 차이는 조합적 구조를 나타낸다.
• 하위신경망의 겹침은 층 간의 교차율(IoU)을 사용해 정량화되어 일관성과 모듈성 정도를 평가한다.
• 분석은 시각 모델(ResNet50 on Number-Contact)과 언어 모델에 적용되며, 사전학습 방식 간 비교가 이루어진다.

Figure 1: (Left) An illustration of the tasks used to study structural compositionality. Stimuli are generated via the composition of two subroutines: (+/- Inside) and (+/- Contact) . These stimuli are used to construct odd-one-out tasks, where the model is tasked with identifying the image that doe

실험 결과

연구 질문

• RQ1 신경망은 복잡한 작업을 별개의 서브루틴에 해당하는 모듈형이고 재사용 가능한 하위신경망을 통해 구현하는가?
• RQ2 서브루틴을 위한 하위신경망을 독립적으로 제거했을 때, 한 서브루틴의 성능은 떨어지지만 다른 서브루틴의 성능는 안정적으로 유지되는가?
• RQ3 비지도 사전학습이 미세조정된 모델의 구조적 조합성에 어느 정도 향상시키는가?
• RQ4 동일한 서브루틴에 대해 여러 시행 동안 하위신경망이 얼마나 일관되게 나타나는가? 서로 다른 서브루틴 간 비교는 어떻게 되는가?
• RQ5 다른 서브루틴을 위한 하위신경망 간 겹침이 낮은가? 이는 기능적 분리성을 시사하는가?

주요 결과

• 정련을 통해 많은 모델이 서브루틴을 모듈형 하위신경망을 통해 실행하며, 서브루틴 간 성능 차이가 기능적 특화를 시사한다.
• 시각 작업에서 '내부에 있는가' 서브루틴의 경우, 하위신경망의 IoU가 높게 나타나 (예: backbone.layer4.0.conv1에서 0.974), 일관되고 모듈형 구조임을 나타낸다.
• '숫자 세기' 서브루틴의 경우, 하위신경망의 IoU는 낮게 나타나 (예: backbone.layer4.0.conv1에서 0.370), 발견 과정이 더 노이즈가 많거나 일관성 없지만 여전히 '내부에 있는가' 작업과는 명확히 다름을 보인다.
• 서브루틴 간 하위신경망 겹침은 일관되게 낮다 (예: backbone.layer4.0.conv1에서 0.122), 이는 서로 다른 서브루틴을 위한 하위신경망이 기능적으로 분리되어 있음을 확인한다.
• 정련된 모델도 전체 모델과 유사한 구조적 조합성 패턴을 유지하므로, 방법의 강인함을 검증한다.
• 비지도 사전학습은 언어 모델에서 더 일관되고 조합적인 구조를 만들어내므로, 사전학습이 모듈러 학습을 지원함을 시사한다.

Figure 2: Illustration of the experimental design. For brevity, we denote “subroutine” as SR in the diagram. (A) First, we train a neural network on a compositional task (Inside-Contact) , ensuring that it can achieve high accuracy on the task. (B) We then optimize a binary mask over weights, such t