[논문 리뷰] Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks

Róbert Csordás, Sjoerd van Steenkiste외 1명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 60인용 수 13

한 줄 요약

이 논문은 사전 훈련된 신경망 내 기능 모듈을 식별하기 위해 기능적 하위작업을 담당하는 가중치를 고립시키는 가분성 있는 이진 마스크 방법을 제안한다. 연구 결과, 표준 네트워크는 종종 서로 다른 기능으로 특화되지만 공유 모듈을 재사용하지 못하여 조합성 없는 해결책을 도출함을 확인하였다. 이는 특히 SCAN과 같은 언어 작업 및 이미지 분류 작업에서 명백히 드러나며, 클래스 독립적 특징이 지배적인 경향이 있다.

ABSTRACT

Neural networks (NNs) whose subnetworks implement reusable functions are expected to offer numerous advantages, including compositionality through efficient recombination of functional building blocks, interpretability, preventing catastrophic interference, etc. Understanding if and how NNs are modular could provide insights into how to improve them. Current inspection methods, however, fail to link modules to their functionality. In this paper, we present a novel method based on learning binary weight masks to identify individual weights and subnets responsible for specific functions. Using this powerful tool, we contribute an extensive study of emerging modularity in NNs that covers several standard architectures and datasets. We demonstrate how common NNs fail to reuse submodules and offer new insights into the related issue of systematic generalization on language tasks.

연구 동기 및 목표

• 표준 신경망이 자발적으로 기능적 모ularity(서브넷워크)를 형성하는지 조사한다. 이는 특정 기능을 수행하는 재사용 가능한 서브네트워크를 의미한다.
• 기존 연구에서 연결성 또는 활성화 패턴에 의해 모듈을 정의하는 데에 있어, 기능적 역할에 기반한 정의의 격차를 메운다.
• 모듈이 재사용 및 특화 정도를 측정하여, 다양한 기능 간의 재사용 여부를 평가함으로써 조합성의 지지를 확인한다.
• 특정 목표 행동을 담당하는 서브넷워크에 기반한 기능적 정의를 제시한다.
• 왜 표준 네트워크가 체계적 일반화를 달성하지 못하는지, 특히 조합적 추론이 요구되는 작업에서 설명한다.

제안 방법

• 원본 네트워크 가중치를 동결한 상태에서 모든 네트워크 가중치에 대해 가분성 있고 확률적인 이진 마스크를 훈련한다.
• 특정 목표 기능(예: 단일 이미지 클래스 분류 또는 언어 명령어의 일부 분류)에 대응하는 보조 작업을 사용하여 마스크를 훈련한다.
• 기울기 기반 최적화를 통해 각 목표 기능을 수행하는 데 필수적인 가중치를 학습한다.
• 마스크를 적용하여 특정 서브넷워크를 고립시켰을 때의 성능 변화를 평가하여 기능적 모듈성을 측정한다.
• 마스크 적용 시 성능 저하를 기반으로 연속적인 지표인 특화도(P_specialize)와 재사용도(P_reuse)를 정량화한다.
• 이를 다양한 아키텍처(전방향, CNN, RNN, Transformer, ResNet)에 적용하여 이미지 및 언어 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 표준 신경망은 특정 하위작업에 대응하는 기능적 모듈을 자발적으로 형성하는가?
• RQ2 동일한 기능에 대해 모듈이 얼마나 재사용되는가를 측정했을 때, 이러한 모듈이 조합성을 얼마나 지원하는가?
• RQ3 기능적 모듈성이 언어 및 비전 작업에서 체계적 일반화와 어떻게 관련되어 있는가?
• RQ4 이론적으로는 유리한 점이 있음에도 불구하고, 왜 표준 네트워크가 재사용 가능한 모듈을 학습하지 못하는가?
• RQ5 이미지 분류기에서의 클래스별 특징은 기능적 모듈성의 지표가 되는가? 그리고 일반화에 어떤 영향을 미치는가?

주요 결과

• 표준 신경망은 강한 특화도(P_specialize)를 보이지만, 동일한 기능에 대해 같은 모듈을 재사용하지 못함(P_reuse가 낮음)으로써 조합적 학습의 결여를 보여준다.
• SCAN 데이터셋에서, 모델들은 유사한 명령어 구조에 대해 고유의 조합 특화 가중치를 학습함을 확인하여, 체계적 일반화에 실패하는 비조합적 해결책을 드러낸다.
• 이미지 분류 작업에서는 클래스 독립적 특징 검출기를 제거할 경우, 단순한 CNN에서는 성능 저하가 40–60% 발생하고 ResNet-110에서는 거의 100% 성능 저하가 발생함을 확인하여, 클래스별 모듈에 크게 의존하고 있음을 보여준다.
• 드롭아웃이 존재할 경우, 클래스 독립적 특징 제거 시 성능 저하가 더 심해지는 것으로 나타나, 드롭아웃이 이러한 모듈에 대한 의존도를 증폭시킬 수 있음을 시사한다.
• CIFAR-10에서의 혼동 패턴(예: 항공기와 새, 선박)은 공유 기능 모듈이 아닌 배경 색상과 같은 공유 시각적 특징에 의해 유도됨을 확인하였다.
• 수학 문제 데이터셋에서도 동일한 재사용 부족 현상이 나타나, 이 문제가 실제 복잡한 추론 작업에서도 지속됨을 확인하였다.