[논문 리뷰] The intriguing role of module criticality in the generalization of deep networks

Niladri S. Chatterji, Behnam Neyshabur외 1명|arXiv (Cornell University)|2019. 12. 02.

Advanced Memory and Neural Computing참고 문헌 27인용 수 13

한 줄 요약

이 논문은 딥 네URAL 네트워크의 성능이 개별 모듈의 가중치를 초기값으로 되돌릴 때 얼마나 민감한지 수량화하는 새로운 복잡도 측정법인 모듈 임계도(module criticality)를 제안한다. 초기 가중치와 훈련된 가중치를 연결하는 손실 곡선의 형태를 분석함으로써, 더 낮은 모듈 임계도를 가진 아키텍처일수록 일반화 성능이 더 우수하며, CIFAR-10 및 CIFAR-100에서 ResNet, VGG, 완전 연결 네트워크에 대해 기존의 복잡도 측정법보다 일반화 성능 순위를 더 잘 예측함을 보여준다.

ABSTRACT

We study the phenomenon that some modules of deep neural networks (DNNs) are more critical than others. Meaning that rewinding their parameter values back to initialization, while keeping other modules fixed at the trained parameters, results in a large drop in the network's performance. Our analysis reveals interesting properties of the loss landscape which leads us to propose a complexity measure, called module criticality, based on the shape of the valleys that connects the initial and final values of the module parameters. We formulate how generalization relates to the module criticality, and show that this measure is able to explain the superior generalization performance of some architectures over others, whereas earlier measures fail to do so.

연구 동기 및 목표

• 유사한 훈련 정확도를 보일지라도 일부 딥 네URAL 네트워크 아키텍처가 다른 아키텍처보다 일반화 성능이 더 우수한 이유를 이해하기 위해.
• 기존의 일반화 복잡도 측정법이 실제 성능 순위와 일관되게 아키텍처를 순위 매기지 못하는 한계를 규명하기 위해.
• 개별 모듈의 가중치 되돌리기에 대한 내성적 저항력이 일반화 성능의 아키텍처적 차이를 반영하는 새로운 측정법인 모듈 임계도를 제안하기 위해.
• 기존의 복잡도 측정법인 PAC-Bayes, 노름 기반 경계, 초기값과의 거리 측정법보다 실제 일반화 오차와 더 강한 상관관계를 보이는 모듈 임계도가 일반화 성능 예측에 더 유용함을 입증하기 위해.
• 일부 모듈이 일반화에 가장 기여하는지 식별함으로써, 더 나은 아키텍처 설계 및 정규화 방법 개발의 기초를 마련하기 위해.

제안 방법

• 모듈 임계도를 초기 가중치에서 최종 가중치로 향하는 볼록 조합에서 성능이 최대 ϵ 이내로 유지되는 최소 비율 α ∈ [0,1]로 정의한다.
• 각 모듈에 대해 초기 및 최종 가중치 사이의 선분 상에서 점들을 샘플링하고, 수직 방향으로 노이즈를 가한 후 손실를 평가하여 2차원 골짜기 프로파일을 재구성한다.
• 최종 가중치에서 초기화 방향으로 손실이 감소하기 시작하는 골짜기 길이를 임계도의 대체 측정치로 사용한다—짧은 거리일수록 더 높은 임계도를 의미한다.
• 모든 모듈의 모듈 임계도 평균을 통해 네트워크 전체 복잡도 측정법인 '네트워크 임계도'를 정의한다.
• 일반화 오차와의 Kendall’s τ 상관관계를 통해 이 측정법을 기존의 복잡도 경계(예: PAC-Bayes, Rademacher, 노름 기반)와 비교한다.
• CIFAR-10 및 CIFAR-100에서 훈련된 ResNet18, ResNet101, VGG16, VGG11, DenseNet121 및 완전 연결 네트워크에서 평가한다.

실험 결과

연구 질문

• RQ1 기존 복잡도 측정법이 실패할 때도 모듈 임계도가 왜 일부 DNN 아키텍처가 더 잘 일반화되는지 설명할 수 있는가?
• RQ2 특히 초기 및 훈련된 가중치를 연결하는 손실 곡선 골짜기의 형태와 일반화 간의 관계는 무엇인가?
• RQ3 가중치 되돌리기에 대한 모듈 수준의 내성적 저항력 측정법이 기존 복잡도 지표보다 일반화 오차와 더 강한 상관관계를 가지는가?
• RQ4 모듈 임계도에서 유도된 네트워크 임계도는 다양한 아키텍처에서 일반화 성능을 신뢰성 있게 예측할 수 있는가?
• RQ5 모듈 임계도는 아키텍처 탐색이나 정규화 설계를 안내하는 데 실용적인 지표가 될 수 있는가?

주요 결과

• 제안된 네트워크 임계도 측정법은 CIFAR-100에서 일반화 오차와 Kendall’s τ 상관계수 0.55를 기록하여, 테스트된 모든 다른 복잡도 측정법을 능가했다.
• CIFAR-10에서 네트워크 임계도 측정법은 ResNet101, ResNet18, ResNet34, ResNet50, VGG16 및 완전 연결 네트워크의 일반화 성능을 정확히 순위 매겼으며, 다른 측정법들은 실패했다.
• ResNet101은 CIFAR-100에서 가장 낮은 일반화 오차(25.5%)를 기록했고, 이 순위는 오직 네트워크 임계도 측정법에서만 정확히 반영되었다.
• 이 방법은 VGG11과 DenseNet121가 다른 모든 측정법에서 잘못 순위 매겨졌음을 성공적으로 파악했으며, 네트워크 임계도는 더 높은 일관성을 보였다.
• 모델의 특정 구성 요소(예: VGG11, FCN (I)/(II))에서의 순위 실패에도 불구하고, 데이터셋 간 전반적인 강건성을 유지하며 CIFAR-100에서 높은 상관관계(τ = 0.55)를 보였다.
• 모듈 임계도는 임계 모듈이 좁고 날카로운 골짜기 또는 초기화 근처에서 손실이 증가하는 경향이 있는 반면, 비임계 모듈은 넓고 평탄한 골짜기를 가지며, 손실 곡선 기하학적 구조적 차이를 드러냈다.