[논문 리뷰] Dissecting Hessian: Understanding Common Structure of Hessian in Neural Networks

Yikai Wu, Xingyu Zhu외 3명|arXiv (Cornell University)|2020. 10. 08.

Sparse and Compressive Sensing Techniques참고 문헌 51인용 수 12

한 줄 요약

이 논문은 신경망의 레이어별 헤시안을 입력 자기상관 행렬과 출력 헤시안 행렬의 크로네커 곱으로 근사하는 분리 추측을 제안한다. 이는 상위 고유공간에서 관찰된 저질서 구조를 설명한다. 저자들은 과다 매개변수화된 2층 네트워크에서 이러한 구조를 증명하고, 더 깊은 모델에서 실험적으로 검증하여 서로 다른 네트워크 간의 고유공간 겹침이 높고, 저질서로 재형성된 고유벡터가 있음을 보여주며, 더 낫게 조정된 PAC-Bayes 일반화 경계를 이끌어낸다.

ABSTRACT

Hessian captures important properties of the deep neural network loss landscape. Previous works have observed low rank structure in the Hessians of neural networks. In this paper, we propose a decoupling conjecture that decomposes the layer-wise Hessians of a network as the Kronecker product of two smaller matrices. We can analyze the properties of these smaller matrices and prove the structure of top eigenspace random 2-layer networks. The decoupling conjecture has several other interesting implications - top eigenspaces for different models have surprisingly high overlap, and top eigenvectors form low rank matrices when they are reshaped into the same shape as the corresponding weight matrix. All of these can be verified empirically for deeper networks. Finally, we use the structure of layer-wise Hessian to get better explicit generalization bounds for neural networks.

연구 동기 및 목표

• 신경망 헤시안의 상위 고유공간에서 저질서 구조가 발생하는 원인을 이해하는 것.
• 서로 다른 가중치와 초기화를 가진 모델들 간에 상위 고유공간이 높은 겹침을 보이는 이유를 설명하는 것.
• 깊은 네트워크에서 레이어별 헤시안의 상위 고유공간을 효율적으로 계산하고 분석하는 방법을 개발하는 것.
• 헤시안 구조에서 유추된 통찰을 활용해 명시적 일반화 경계를 개선하는 것, 특히 PAC-Bayes 프레임워크에서의 적용.
• 다양한 아키텍처와 데이터 분포에서 분리 추측의 타당성을 검증하는 것.

제안 방법

• 입력 자기상관 행렬과 출력 헤시안 행렬의 크로네커 곱으로 레이어별 헤시안을 근사하는 분리 추측을 제안한다.
• 입력 자기상관 행렬을 분석하여, 입력이 0이 아닌 평균을 가질 경우 약간의 질서가 1인 것으로 나타내며, 이는 전체 헤시안에 저질서 구조를 유도한다.
• 임의의 데이터로 과다 매개변수화된 2층 네트워크에서 출력 헤시안이 약간의 질서가 $c-1$임을 증명한다. 여기서 $c$는 클래스 수이다.
• 크로네커 구조를 활용해 가중치 행렬에서 레이어별 헤시안의 상위 고유공간을 효율적으로 계산하는 힌트를 도출한다.
• 더 깊은 네트워크에서 추측과 그 결과를 실험적으로 검증하여 고유공간 겹침과 저질서로 재형성된 고유벡터를 확인한다.
• 헤시안 기반 사후 분산 최적화를 통합하여 헤시안 구조를 활용해 PAC-Bayes 경계를 개선한다.

실험 결과

연구 질문

• RQ1 왜 깊은 신경망의 헤시안이 상위 고유공간에서 저질서 구조를 보이는가?
• RQ2 서로 다른 훈련된 모델의 상위 고유공간이 수직된 가중치가 있음에도 불구하고 높은 겹침을 보이는 이유는 무엇인가?
• RQ3 입력 분포(예: 평균 0 vs. 0이 아닌 평균)는 레이어별 헤시안의 질서 구조에 어떻게 영향을 미치는가?
• RQ4 헤시안의 크로네커 곱 분해가 더 낫게 조정된 일반화 경계를 도출하는 데 사용될 수 있는가?
• RQ5 분리 추측은 2층 네트워크를 초월해 더 깊고 복잡한 아키텍처에서도 어느 정도 유효한가?

주요 결과

• 입력 자기상관 행렬이 약간의 질서가 1일 경우, 레이어별 헤시안의 상위 고유공간은 출력 헤시안의 상위 고유공간과 매우 유사하다. 이는 입력이 0이 아닌 평균을 가질 때 발생한다.
• 실험적으로, 서로 다른 모델들(예: LeNet5와 ResNet18)의 상위 고유공간 간 겹침이 매우 높으며, 이는 레이어의 출력 차원에서 최고조화를 이룬다.
• 헤시안의 상위 고유벡터를 가중치 행렬의 형태로 재형성하면 저질서 행렬이 형성되며, 이는 크로네커 곱 구조와 일치한다.
• 임의의 데이터로 과다 매개변수화된 2층 네트워크에서 출력 헤시안은 약간의 질서가 $c-1$이며, 이는 가중치 행렬에서 직접 계산할 수 있다. 여기서 $c$는 클래스 수이다.
• 헤시안 구조를 활용한 반복적 헤시안 최적화 방법은 더 낫게 조정된 PAC-Bayes 경계를 이끌어내며, T-600에서 경계가 0.161에서 0.1198으로 감소하고, T-1200에서 0.179에서 0.1417로 감소한다.
• 사후 분산 최적화가 헤시안 고유벡터와 일치하며, 고유값이 큰 방향에서 분산이 더 작아짐을 보여주며, 날카운 방향이 사후 분포에서 더 강하게 처벌됨을 확인한다.