[논문 리뷰] Quantitative Performance Assessment of CNN Units via Topological Entropy Calculation

Yang Zhao, Hao Zhang|arXiv (Cornell University)|2021. 03. 17.

Topological and Geometric Data Analysis인용 수 5

한 줄 요약

이 논문은 복소수 신경망(CNN) 유닛의 성능을 척도 변화에 영향을 받지 않는 방식으로 정량적으로 평가하기 위해 영구 호모로지 기반의 위상적 엔트로피인 '특징 엔트로피'를 제안한다. 같은 클래스의 이미지들 사이에서 특징 맵의 공간 패턴의 안정성을 평가함으로써, 특징 엔트로피는 효율적인 유닛(높은 엔트로피)과 효율이 떨어지는 유닛(낮은 엔트로피)을 식별하며, 훈련 손실과 일반화 능력과 강한 상관관계를 보이고, 정확도 저하가 최소화되는 효과적인 네트워크 프루닝을 가능하게 한다.

ABSTRACT

Identifying the status of individual network units is critical for understanding the mechanism of convolutional neural networks (CNNs). However, it is still challenging to reliably give a general indication of unit status, especially for units in different network models. To this end, we propose a novel method for quantitatively clarifying the status of single unit in CNN using algebraic topological tools. Unit status is indicated via the calculation of a defined topological-based entropy, called feature entropy, which measures the degree of chaos of the global spatial pattern hidden in the unit for a category. In this way, feature entropy could provide an accurate indication of status for units in different networks with diverse situations like weight-rescaling operation. Further, we show that feature entropy decreases as the layer goes deeper and shares almost simultaneous trend with loss during training. We show that by investigating the feature entropy of units on only training data, it could give discrimination between networks with different generalization ability from the view of the effectiveness of feature representations.

연구 동기 및 목표

• 다양한 아키텍처에서 개별 CNN 유닛의 성능을 평가하기 위한 일반적이고 척도 변화에 영향을 받지 않는 지표의 부족을 해결하기 위해.
• 활성화 크기와 무관하게, 유닛의 특징 표현에서 전역적인 공간 패턴의 안정성에 기반해 효과적인 유닛을 식별하기 위해.
• 가중치 재스케일링 조건에서도 유효한 유지되는, 유닛 상태를 위한 보편적이고 정량적인 지표를 제공하기 위해.
• 훈련 데이터만을 사용하여 일반화 능력이 뛰어난 모델을 식별하는 데 특징 엔트로피의 유용성을 입증하기 위해.
• 특징 엔트로피 기반 채널 선택을 통해 성능 기반의 효과적인 네트워크 프루닝을 가능하게 하기 위해.

제안 방법

• 같은 클래스의 이미지들에 대한 특징 맵의 영구 호모로지로부터 유도된 위상적 바코드의 정보 엔트로피로 특징 엔트로피를 정의한다.
• 영구 호모로지를 사용하여 특징 활성화에서 공간 패턴의 안정성을 캡처하는 위상적 불변량(바코드)을 추출한다.
• 바코드 분포의 샤논 엔트로피로 특징 엔트로피를 계산하여, 공간 패턴의 규칙성과 일관성을 반영한다.
• 다양한 클래스에 걸쳐 특징 엔트로피를 평균화하여 모델 전반의 평가를 위한 레이어별 또는 유닛별 점수를 도출한다.
• 레이어 단위로 프루닝 전략을 적용하여, 더 높은 특징 엔트로피를 가진 필터를 제거함으로써 FLOPs와 파라미터를 감소시킨다.
• 프루닝 후 성능 회복을 위해 학습률 스케줄을 사용한 SGD로 프루닝된 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 위상적 엔트로피 측정법이 개별 CNN 유닛의 성능 평가에 있어 척도 변화에 영향을 받지 않고 보편적으로 적용 가능한 지표가 될 수 있는가?
• RQ2 특징 엔트로피는 훈련 과정에서 어떻게 변화하며, 기존의 훈련 손실과 일반화 능력과 상관관계가 있는가?
• RQ3 특징 엔트로피는 의미 있는 특징을 표현하는 유닛과 무작위 또는 혼란스러운 패턴을 생성하는 유닛을 효과적으로 구분할 수 있는가?
• RQ4 특징 엔트로피는 정확도를 유지하면서 효과적인 네트워크 프루닝을 어느 정도 지도할 수 있는가?
• RQ5 특징 엔트로피는 훈련 데이터만을 사용하여 서로 다른 일반화 능력을 가진 모델을 식별하는 데 기여하는가?

주요 결과

• 특징 엔트로피는 네트워크 깊이가 증가함에 따라 단조롭게 감소하며, 레이어 간 공간 패턴 표현의 점진적 정련을 나타낸다.
• 특징 엔트로피의 추세는 훈련 손실 곡선과 매우 유사하여, 네트워크의 학습 동역학을 잘 따라가고 있음을 시사한다.
• 특징 엔트로피는 가중치 재스케일링 연산에 대해 불변성을 유지하므로, 기능을 유지하는 아키텍처 수정에 대해 강건하다.
• 높은 특징 엔트로피를 가진 유닛은 일관되고 공간적으로 유의미한 특징을 표현하는 반면, 낮은 엔트로피 유닛은 혼란스럽거나 무작위적인 패턴을 보인다.
• 특징 엔트로피 기반 프루닝은 경쟁적인 성능을 보이며, 50% 프루닝 비율에서 원래 정확도의 99.91%를 유지(0.09% 감소)하여 L1-노름과 APoZ를 초월한다.
• 특징 엔트로피 계산에 100개의 클래스를 사용할 경우 최적의 정확도를 얻으며, 150 또는 200개로 증가시켜도 이득은 미미하다.