[논문 리뷰] Sensitivity and Generalization in Neural Networks: an Empirical Study

Roman Novak, Yasaman Bahri외 3명|arXiv (Cornell University)|2018. 02. 23.

Neural Networks and Applications참고 문헌 43인용 수 224

한 줄 요약

본 논문은 신경망 일반화와 입력-출력 Jacobian 민감도 및 선형 영역 전이 간의 경험적 연관성을 제시하며, 데이터 매니폴드에 근접한 강건성이 다양한 아키텍처와 설정에서 더 나은 일반화와 상관됨을 보인다.

ABSTRACT

In practice it is often found that large over-parameterized neural networks generalize better than their smaller counterparts, an observation that appears to conflict with classical notions of function complexity, which typically favor smaller models. In this work, we investigate this tension between complexity and generalization through an extensive empirical exploration of two natural metrics of complexity related to sensitivity to input perturbations. Our experiments survey thousands of models with various fully-connected architectures, optimizers, and other hyper-parameters, as well as four different image classification datasets. We find that trained neural networks are more robust to input perturbations in the vicinity of the training data manifold, as measured by the norm of the input-output Jacobian of the network, and that it correlates well with generalization. We further establish that factors associated with poor generalization $-$ such as full-batch training or using random labels $-$ correspond to lower robustness, while factors associated with good generalization $-$ such as data augmentation and ReLU non-linearities $-$ give rise to more robust functions. Finally, we demonstrate how the input-output Jacobian norm can be predictive of generalization at the level of individual test points.

연구 동기 및 목표

• 과잉 매개변수화된 네트워크에서 모델 용량과 일반화 간의 긴장을 조사한다.
• 입력 섭동과 관련된 민감도 지표를 정의하고 평가한다.
• 다양한 아키텍처, 최적화 알고리즘, 하이퍼파라미터에 걸친 민감도와 일반화 간의 관계를 조사한다.
• 개별 테스트 포인트 차원에서 민감도 지표가 일반화를 예측할 수 있는지 평가한다.

제안 방법

• 완전연결 네트워크에 대해 두 가지 민감도 지표를 정의한다: 소프트맥스 출력의 Jacobian 노름과 입력 궤적을 따라 선형 영역 전이의 수.
• 테스트 포인트 주위의 평균 Jacobian Frobenius 노름을 계산하여 국소 민감도를 측정한다.
• 데이터 매니폴드에 가까운 궤적을 따라 뉴런 활성화 패턴을 인코딩하여 선형 영역 간의 전이를 계산한다.
• 데이터 매니폴드 내외에서 원형 궤적과 학습 점을 지나는 타원의 사용으로 민감도를 비교한다.
• 다양한 일반화에 영향을 주는 요인들(예: 데이터 증강, 라벨 품질, ReLU 대 포화 활성화, 미니배치 대 풀배치 학습)에 따른 민감도를 분석한다.
• 여러 이미지 분류 데이터셋에서 수천 개의 fully-connected 모델에 대해 대규모 실험을 수행한다.

실험 결과

연구 질문

• RQ1 신경망 일반화가 입력-출력 Jacobian 민감도와 상관관계가 있는가?
• RQ2 일반화에 영향을 미치는 요인들(예: 데이터 증강, 라벨링, 활성화 함수, 배치 크기)이 민감도에 어떻게 영향을 미치는가?
• RQ3 개별 테스트 포인트 차원에서 민감도가 일반화를 예측하는가?
• RQ4 아키텍처와 최적화 하이퍼파라미터가 다른 모델들을 평가할 때 민감도 지표가 어떻게 비교되는가?

주요 결과

• Jacobian 노름은 다양한 설정과 데이터셋에서 일반화와 상관관계가 있다.
• 민감도는 데이터 매니폴드 밖에서 더 높고 훈련 데이터 포인트에 가까워질수록 감소하며, 이는 그 영역에서 더 강건한 함수임을 시사한다.
• 일반화를 향상시키는 요인들(정확한 라벨, 데이터 증강, ReLU 활성화, 미니배치 최적화)은 일관되게 민감도 감소를 동반한다.
• 전이 밀도만으로는 서로 다른 크기의 네트워크를 비교하기에 sufficient하지 않다; 아키텍처 크기가 전이 수에 영향을 준다.
• 개별 테스트 포인트에서의 Jacobian 노름은 교차 엔트로피 손실과 상관관계가 있어, 활성 학습 및 신뢰도 추정에 대한 포인트별 예측 유용성을 시사한다.
• 본 연구는 학습 함수의 국소 기하학과 이미지 분류에서의 일반화를 연결하는 광범위한 경험적 근거를 제공한다.