[논문 리뷰] Clusterability in Neural Networks

Daniel Filan, Stephen Casper외 4명|arXiv (Cornell University)|2021. 03. 04.

Neural Networks and Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 가중치 행렬에 대한 스펙트럴 클러스터링을 통해 신경망의 클러스터러빌리티를 그래프 이론적 측정치로 정의하며, 훈련된 네트워크가 무작위 또는 셔플된 대안보다 유의미하게 더 높은 클러스터러빌리티를 보임을 보여준다. 또한 정규화를 통해 클러스터러빌리티를 향상시키고 정확도 손실를 최소화하면서, 네트워크의 해석 가능한 모듈화 분해를 가능하게 한다.

ABSTRACT

The learned weights of a neural network have often been considered devoid of scrutable internal structure. In this paper, however, we look for structure in the form of clusterability: how well a network can be divided into groups of neurons with strong internal connectivity but weak external connectivity. We find that a trained neural network is typically more clusterable than randomly initialized networks, and often clusterable relative to random networks with the same distribution of weights. We also exhibit novel methods to promote clusterability in neural network training, and find that in multi-layer perceptrons they lead to more clusterable networks with little reduction in accuracy. Understanding and controlling the clusterability of neural networks will hopefully render their inner workings more interpretable to engineers by facilitating partitioning into meaningful clusters.

연구 동기 및 목표

• 훈련된 신경망 내부의 모듈성 측도로 클러스터러빌리티를 정의하고 정량화하는 것.
• 훈련된 네트워크가 무작위 가중치 분포를 초월한 구조적 조직을 보이는지 조사하는 것.
• 모델 정확도를 저하시키지 않으면서 클러스터러빌리티를 향상시키는 훈련 방법을 개발하는 것.
• 기능적으로 의미 있는 클러스터로 신경망을 해석 가능한 방식으로 분해할 수 있도록 하는 것.
• 다양한 아키텍처와 데이터셋에서 클러스터러빌리티의 강인성 평가

제안 방법

• 뉴런 또는 채널 간 절대 가중치 값으로 가중치가 부여된 무방향 그래프로 신경망을 표현.
• 분할 품질 평가를 위해 정규화된 컷(n-cut) 메트릭을 사용한 스펙트럴 클러스터링 적용.
• 절대 클러스터러빌리티를 네트워크의 실제 가중치에 대한 n-cut 점수로 정의하고, 상대 클러스터러빌리티를 셔플된 가중치 순열에 대한 비율로 정의.
• 낮은 내부 클러스터 간 엣지 가중치와 높은 내부 클러스터 내 엣지 가중치를 유도하는 클러스터러빌리티 정규화 손실 도입.
• 기울기 업데이트 후 각 단계에서 정규화를 수행하여 가중치 노름 불변성을 유지하고, 클러스터러빌리티 최적화에서 임의의 스케일링 아티팩트를 방지.
• 알고리즘적 초기화를 통해 훈련 시작 단계부터 클러스터러블한 가중치 구조를 촉진.

실험 결과

연구 질문

• RQ1 훈련된 신경망이 무작위로 초기화되거나 셔플된 네트워크보다 더 높은 클러스터러빌리티를 보이는가?
• RQ2 정확도를 감소시키지 않으면서 아키텍처나 훈련 수정을 통해 클러스터러빌리티를 향상시킬 수 있는가?
• RQ3 ImageNet에서 VGG, ResNet, Inception 등의 다양한 네트워크 아키텍처에서 클러스터러빌리티가 일관된가?
• RQ4 가중치 프루닝과 드롭아웃은 훈련된 모델의 상대 클러스터러빌리티에 어떤 영향을 미치는가?
• RQ5 클러스터러빌리티가 데이터 분포나 활성화 패턴과 독립적인, 학습된 가중치의 성질인가?

주요 결과

• 훈련된 다층퍼셉트론(MLP)은 랜덤 초기화된 네트워크보다 유의미하게 더 높은 클러스터러빌리티를 보이며, 상대 클러스터러빌리티가 종종 50개의 셔플 기준선을 초월한다.
• 드롭아웃과 가중치 프루닝을 적용해 훈련한 MLP는 100회의 시험에서 99% 이상의 셔플된 네트워크를 초월하는 높은 상대 클러스터러빌리티를 보인다.
• 대규모 ImageNet 모델(VGG, ResNet, Inception)은 동일한 가중치 분포의 100개의 셔플된 버전 중 99개보다 더 높은 클러스터러빌리티를 보인다.
• CIFAR-10에서 드롭아웃과 프루닝을 적용한 중간 크기의 VGG는 상대 클러스터러빌리티에서 50개의 셔플된 네트워크를 모두 초월한다.
• 클러스터러빌리티 정규화와 클러스터러블한 초기화 방법은 MLP에서 정확도 저하를 최소화하면서 모듈성을 향상시킨다.
• 제안된 정규화 단계는 가중치 노름 불변성을 유지하여 클러스터러빌리티 최적화에서 임의의 스케일링 아티팩트를 방지한다.