[논문 리뷰] Clustering units in neural networks: upstream vs downstream information

Richard D. Lange, David Rolnick외 1명|arXiv (Cornell University)|2022. 03. 22.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 신경망 내 기능 모듈을 탐지하기 위한 프레임워크를 제안하며, 입력에 의해 유도되는(업스트림) 또는 출력에 영향을 주는(다운스트림) 기능적 유사성 기반으로 은닉 유닛을 군집화한다. 연구 결과, 드롭아웃은 모듈성을 크게 증가시키며, 업스트림 및 다운스트림 유사성 측정 방식이 거의 겹치지 않는 군집을 생성함으로써 입력 기반과 출력 기반 해석 간의 근본적인 불일치를 드러낸다.

ABSTRACT

It has been hypothesized that some form of "modular" structure in artificial neural networks should be useful for learning, compositionality, and generalization. However, defining and quantifying modularity remains an open problem. We cast the problem of detecting functional modules into the problem of detecting clusters of similar-functioning units. This begs the question of what makes two units functionally similar. For this, we consider two broad families of methods: those that define similarity based on how units respond to structured variations in inputs ("upstream"), and those based on how variations in hidden unit activations affect outputs ("downstream"). We conduct an empirical study quantifying modularity of hidden layer representations of simple feedforward, fully connected networks, across a range of hyperparameters. For each model, we quantify pairwise associations between hidden units in each layer using a variety of both upstream and downstream measures, then cluster them by maximizing their "modularity score" using established tools from network science. We find two surprising results: first, dropout dramatically increased modularity, while other forms of weight regularization had more modest effects. Second, although we observe that there is usually good agreement about clusters within both upstream methods and downstream methods, there is little agreement about the cluster assignments across these two families of methods. This has important implications for representation-learning, as it suggests that finding modular representations that reflect structure in inputs (e.g. disentanglement) may be a distinct goal from learning modular representations that reflect structure in outputs (e.g. compositionality).

연구 동기 및 목표

• 신경망 내 기능 모듈을 유사하게 행동하는 은닉 유닛의 군집으로 구체화하는 것.
• 업스트림(입력 유도) 대 다운스트림(출력 영향)이라는 서로 다른 기능적 유사성 정의가 모듈 탐지에 어떻게 영향을 주는지 조사하는 것.
• 드롭아웃, 가중치 감소, L1 펜alties와 같은 정규화 기법이 모듈성에 미치는 영향 평가하는 것.
• 신경 유닛의 유사성에 대한 업스트림 및 다운스트림 정의 간 일치도 평가하는 것.
• 입력 또는 출력 시각에 의해 신경 표현이 균일하게 해석 가능하다는 가정에 도전하는 것.

제안 방법

• 8종의 서로 다른 업스트림 및 다운스트림 측정 방식을 사용해 은닉 유닛 간의 쌍별 기능적 유사성 측정.
• 각 레이어에 대해 n×n 유사성 행렬을 구성하며, 행렬의 요소는 유닛 쌍 간의 기능적 유사성 반영.
• 네트워크 과학 기반 군집 알고리즘을 적용해 모듈성 점수 Q*를 최대화하여 높은 내부 유사성 군집 블록 식별.
• 기존의 모듈성 최적화 도구(예: Louvain 알고리즘)를 사용해 유사성 행렬 기반으로 유닛을 군집에 할당.
• MNIST에서 250개 이상의 완전 연결 피드포워드 네트워크를 훈련해 하이퍼파rameter에 대한 강건성 평가.
• 업스트림 및 다운스트림 방법 간의 군집 할당을 비교해 일관성과 일치도 평가.

실험 결과

연구 질문

• RQ1 업스트림 대 다운스트림 기능적 유사성 측정 방식이 신경망 내 유사하게 기능하는 유닛 군집을 어떻게 비교해 식별하는가?
• RQ2 드롭아웃은 가중치 감소나 L1 페널티와 같은 다른 정규화 기법에 비해 모듈성을 얼마나 증가시키는가?
• RQ3 업스트림 유사성 측정 방식으로 식별된 군집과 다운스트림 유사성 측정 방식으로 식별된 군집 간에 일치하는가?
• RQ4 네트워크의 기능적 모듈성이 후행 성능 또는 일반화 능력과 관련이 있는가?
• RQ5 업스트림 기반 분리 가능성 개념(예: 기능 특이적 유닛 활성화)이 예측에서의 인과적 역할과 의미 있게 일치할 수 있는가?

주요 결과

• 드롭아웃은 다른 정규화 방법에 비해 모듈성(Q*로 측정)을 크게 증가시키며, 이는 복제된 단위의 재귀적 구조를 유도해 군집 형성에 기여함을 시사한다.
• 드롭아웃이 모듈성에 미치는 주요 영향은 유사한 동작을 보이는 거의 동일한 단위의 복제를 통해 발생하며, 이는 드롭아웃 조건에서 기능적 유사성이 높아지기 때문이다.
• 업스트림 및 다운스트림 유사성 측정 방식 간에 거의 겹치지 않는 군집 할당이 나타나, 입력 기반과 출력 기반 신경 기능 해석 간의 근본적 불일치를 시사한다.
• 업스트림 및 다운스트림 방법 간 내부 일관성은 양호하나, 두 유형 간 일치도는 극히 낮다.
• 결과적으로, 분리 가능한 표현(업스트림)과 인과적으로 효과적인 표현(다운스트림)은 조건부로 존재하는 개념이며, 훈련된 네트워크 내에서도 서로 다름을 의미한다.
• 로컬 최소값과 군집 할당 및 신경 활성도 간의 피드백로 인해 훈련 중 모듈성 최대화가 어렵다는 점을 고려할 때, 부드러운 군집화가 필요할 수 있음을 시사한다.