[논문 리뷰] Truth or Backpropaganda? An Empirical Investigation of Deep Learning Theory

Micah Goldblum, Jonas Geiping외 3명|arXiv (Cornell University)|2019. 10. 01.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 8

한 줄 요약

이 논문은 심층학습 이론의 核심 가정을 경험적으로 도전하며, 실제 신경망에서 최적화되지 않은 국소 최솟값이 존재하고, 낮은 노름 파rameter가 일반화를 보장하지 않으며, 스킵 연결과 배치 정규화로 인해 ResNets가 넓은 네트워크 이론을 위반하고, 높은 질량 행렬이 일반화 및 적대적 공격에 대한 강건성에서 낮은 질량보다 뛰어나다는 것을 보여준다.

ABSTRACT

We empirically evaluate common assumptions about neural networks that are widely held by practitioners and theorists alike. In this work, we: (1) prove the widespread existence of suboptimal local minima in the loss landscape of neural networks, and we use our theory to find examples; (2) show that small-norm parameters are not optimal for generalization; (3) demonstrate that ResNets do not conform to wide-network theories, such as the neural tangent kernel, and that the interaction between skip connections and batch normalization plays a role; (4) find that rank does not correlate with generalization or robustness in a practical setting.

연구 동기 및 목표

• 심층학습 이론에서 널리 수용된 가정—예를 들어 국소 최솟값의 근접 최적성, 낮은 노름 파rameter의 우월성, 넓은 네트워크 극한의 타당성—이 실제 적용에서 성립하는지 테스트하기.
• 특히 적대적 훈련 하에서, 낮은 질량 행렬이 컨볼루션 신경망의 일반화나 강건성에 기여하는지 조사하기.
• 스킵 연결과 배치 정규화와 같은 아키텍처 구성 요소가 고전적 심층학습 이론의 타당성을 어떻게 뿌리 뽑는지 평가하기.
• 가중치 감쇠나 낮은 노름 해법이 일반화에 최적이라는 가정을 도전하며, 비영인 노름 편향이 성능 향상에 기여할 수 있음을 보여주기.

제안 방법

• 손실 표면의 구조적 이론적 분석을 통해 완전히 연결된 네트워크와 컨볼루션 네트워크에서 최적화되지 않은 국소 최솟값의 명시적 예를 구성하였다.
• 효율적 질량(r(W) = ||W||_*/||W||_F) 기반의 질량 조작 기법을 설계하여 훈련 중 가중치 행렬의 질량을 제어하였다.
• CIFAR-10 및 CIFAR-100 데이터셋을 사용하여 ResNet-18과 스킵 연결이 없는 ResNet-18에 대해 자연 훈련과 적대적 훈련(PGD, ϵ=8/255 및 ϵ=1/255)을 적용하였다.
• Sedghi 등(2018)의 빠른 방법과 특이값 분해를 사용하여 컨볼루션 필터의 효율적 질량을 효율적으로 계산하였다.
• 표준 및 적대적으로 훈련된 기준 모델과 비교하기 위해, RankMin(낮은 질량) 및 RankMax(높은 질량) 목표로 훈련된 모델을 비교하였다.
• 스킵 연결이 있는 모델과 없는 모델을 비교하여 배치 정규화와 스킵 연결 간의 상호작용을 분석하였다.

실험 결과

연구 질문

• RQ1 실제 심층신경망의 손실 표면에서 최적화되지 않은 국소 최솟값이 존재하는가? 그리고 이는 활성화 패턴과 가중치 구성의 이론적 분석을 통해 명시적으로 구성될 수 있는가?
• RQ2 현대 심층망에서 낮은 노름 초기화 또는 최적화가 일반화에 진정으로 최적인가?
• RQ3 넓은 네트워크 이론, 예를 들어 신경 터널링 커널이 실질적인 아키텍처인 ResNets에 얼마나 적용 가능한가?
• RQ4 컨볼루션 네트워크에서 가중치 행렬의 낮은 질량 구조가 일반화 또는 적대적 강건성을 향상시키는가?
• RQ5 스킵 연결과 배치 정규화는 심층망에서 일반화 및 최적화에 대한 이론적 예측의 타당성에 어떤 영향을 미치는가?

주요 결과

• 실제 심층신경망의 손실 표면에서 최적화되지 않은 국소 최솟값이 존재하며, 활성화 패턴과 가중치 구성의 이론적 분석을 통해 명시적으로 구성할 수 있다.
• CIFAR-10 및 CIFAR-100에서 훈련 중 파rameter를 비영인 노름 쪽으로 편향시키면 테스트 정확도가 향상되며, 이는 낮은 노름 해법이 일반화에 더 우월하다는 가정을 반박한다.
• 스킵 연결과 배치 정규화의 상호작용으로 인해 ResNets는 넓은 네트워크 이론, 특히 신경 터널링 커널 프레임워크를 따르지 않는다.
• 높은 질량 가중치 행렬(RankMax)은 낮은 질량 행렬(RankMin)보다 적대적 강건성에서 뛰어나며, CIFAR-10에서 ϵ=8/255일 때 74.92%의 강건 정확도를 기록했고, RankMin는 73.19%, 표준 적대적 훈련은 74.27%였다.
• 낮은 질량 가중치 행렬과 적대적 강건성 향상 간에 상관관계가 없으며, 실제로는 높은 질량 모델이 강건성 벤치마크에서 낮은 질량 모델보다 뛰어나게 성능을 내는 경우가 많다.
• 훈련 과정에서 필터의 효율적 질량이 감소하며, 초기화 시 질량이 훈련된 모델보다 높은 편이지만, 이 감소는 성능 향상과 관련이 없다.