[논문 리뷰] Selectivity considered harmful: evaluating the causal impact of class selectivity in DNNs

Matthew L. Leavitt, Ari S. Morcos|arXiv (Cornell University)|2020. 03. 03.

Cell Image Analysis Techniques참고 문헌 68인용 수 21

한 줄 요약

이 논문은 딥 네ural 네트워크 유닛의 클래스 선택성에 직접적으로 영향을 주는 미분 가능 레귤러라이저를 제안하며, 선택성을 감소시킬 경우 테스트 정확도가 향상됨(티니 이미지넷에서 2% 이상 향상)을 입증한다. 또한 높은 선택성이 성능에 필수적이거나 유익하지 않음을 보여주며, 신경망의 기능적 중요성을 반영한다고 보는 기존의 가정을 도전한다. 선택성은 일반화 능력을 떨어뜨릴 수 있다.

ABSTRACT

The properties of individual neurons are often analyzed in order to understand the biological and artificial neural networks in which they're embedded. Class selectivity-typically defined as how different a neuron's responses are across different classes of stimuli or data samples-is commonly used for this purpose. However, it remains an open question whether it is necessary and/or sufficient for deep neural networks (DNNs) to learn class selectivity in individual units. We investigated the causal impact of class selectivity on network function by directly regularizing for or against class selectivity. Using this regularizer to reduce class selectivity across units in convolutional neural networks increased test accuracy by over 2% for ResNet18 trained on Tiny ImageNet. For ResNet20 trained on CIFAR10 we could reduce class selectivity by a factor of 2.5 with no impact on test accuracy, and reduce it nearly to zero with only a small ($\sim$2%) drop in test accuracy. In contrast, regularizing to increase class selectivity significantly decreased test accuracy across all models and datasets. These results indicate that class selectivity in individual units is neither sufficient nor strictly necessary, and can even impair DNN performance. They also encourage caution when focusing on the properties of single units as representative of the mechanisms by which DNNs function.

연구 동기 및 목표

• 딥 네럴 네트워크 성능에 있어 개별 뉴런의 클래스 선택성이 기능적으로 필수적이거나 유익한지 여부를 조사하는 것.
• 뉴런 아블레이션과 같은 간접적 방법의 한계를 해결하기 위해 선택성의 인과적 역할를 분리할 수 없음을 해결하는 것.
• 학습 중에 클래스 선택성을 인과 변수로 제어할 수 있는 직접적인 정규화 기법을 개발하고 적용하는 것.
• DNN 내 뉴런 선택성이 의미 있는 기능적 역할을 반영한다고 보는 일반적인 가정을 도전하는 것.
• 높은 선택성이 딥 네트워크에서 일반화를 방해하거나 불필요한지 평가하는 것.

제안 방법

• 숨은 유닛의 클래스 선택성을 직접 제어할 수 있도록 손실 함수에 미분 가능 레귤러라이저를 도입한다.
• 레귤러라이저는 서로 다른 입력 클래스에 대한 뉴런 반응의 분산을 페널티 또는 장려함으로써 선택성을 정밀하게 조작할 수 있도록 한다.
• 학습 중에 적용되어 선택성이 정확도와 일반화에 어떻게 영향을 미치는지에 대한 통제된 실험을 가능하게 한다.
• ResNet18(Tiny ImageNet)과 ResNet20(CIFAR-10)에서 실험하며 특정 네트워크 레이어에서 아블레이션 연구를 수행한다.
• 부트스트래핑 기반 신뢰구간과 윌코크슨 순서합 검정을 사용해 통계적 유의성을 평가한다.
• 정규화가 유닛 축을 기준으로 선택성을 회전시키는 것과 같은 혼동 요인을 피하기 위해 조건을 유지한다.

실험 결과

연구 질문

• RQ1 개별 뉴런의 클래스 선택성이 DNN 성능 향상과 인과적으로 관련이 있는가?
• RQ2 클래스 선택성을 줄일 경우 일반화 능력 향상과 더 높은 테스트 정확도를 달성할 수 있는가?
• RQ3 DNN 내 효과적인 네트워크 기능을 위해 높은 클래스 선택성이 필수적인가?
• RQ4 선택성이 필요하지 않은 상황에서도 선택성을 높일 경우 네트워크 성능이 떨어지는가?
• RQ5 뉴런 선택성이 네트워크 기능성에 대한 부적절하거나 불필요한 대체 지표인가?

주요 결과

• 티니 이미지넷에서 훈련된 ResNet18에서 클래스 선택성을 줄이면 테스트 정확도가 2% 이상 향상되었다.
• CIFAR-10에서 ResNet20을 사용한 실험에서 클래스 선택성을 2.5배 줄였지만 테스트 정확도에 변화가 없었다.
• 선택성을 거의 0에 가깝게 줄일 수 있었으며(약 20배 감소), 테스트 정확도는 오직 2% 감소에 그쳤다.
• 클래스 선택성을 증가시키기 위해 정규화를 적용한 결과, 모든 모델과 데이터셋에서 테스트 정확도가 유의미하게 떨어졌다.
• 선택성 증가의 부정적 영향은 빠르게 나타났으며 통계적으로 유의미했으며, 핵심 비교에서 p < 6×10⁻⁶였다.
• 결과는 클래스 선택성이 양호한 성능을 위한 필수 조건이 아니며, 충분조건이 아니며 심지어 해로울 수 있음을 시사한다.