[논문 리뷰] Analytic Insights into Structure and Rank of Neural Network Hessian Maps

Sidak Pal Singh, Gregor Bachmann외 1명|arXiv (Cornell University)|2021. 06. 30.

Neural Networks and Applications참고 문헌 52인용 수 5

한 줄 요약

이 논문은 히세 지도의 구조와 질량을 분해하여 크로네커 곱 성분으로 나누고, 특이값 분해를 통한 저랭크 근사법을 활용하여 딥 네ural 네트워크 내 히세 지도의 분석적 통찰을 제공한다. 주요 기여는 각 층의 활성화 및 가중치 통계량의 곱에 의해 결정되는 히세의 유효 랭크가 있다는 이론적 프레임워크를 제시함으로써, 과다 매개변수화된 모델에서 효율적인 2차 최적화 및 일반화 분석이 가능하게 한다.

ABSTRACT

The Hessian of a neural network captures parameter interactions through second-order derivatives of the loss. It is a fundamental object of study, closely tied to various problems in deep learning, including model design, optimization, and generalization. Most prior work has been empirical, typically focusing on low-rank approximations and heuristics that are blind to the network structure. In contrast, we develop theoretical tools to analyze the range of the Hessian map, providing us with a precise understanding of its rank deficiency as well as the structural reasons behind it. This yields exact formulas and tight upper bounds for the Hessian rank of deep linear networks, allowing for an elegant interpretation in terms of rank deficiency. Moreover, we demonstrate that our bounds remain faithful as an estimate of the numerical Hessian rank, for a larger class of models such as rectified and hyperbolic tangent networks. Further, we also investigate the implications of model architecture (e.g.~width, depth, bias) on the rank deficiency. Overall, our work provides novel insights into the source and extent of redundancy in overparameterized networks.

연구 동기 및 목표

• 과다 매개변수화된 설정에서 딥 네ural 네트워크의 히세 행렬의 내재된 구조를 이해하기 위해.
• 곡률과 최적화 역학을 결정하는 히세 지도의 유효 랭크를 분석하기 위해.
• 명시적인 행렬 구성 없이도 히세 계산을 위한 실용적인 분석적 프레임워크를 개발하기 위해.
• 히세 랭크를 크로네커 곱 분해를 통해 각 층의 가중치 및 활성화 통계량과 연결하기 위해.
• 저랭크 히세 근사법을 통해 효율적인 2차 최적화 및 일반화 분석을 가능하게 하기 위해.

제안 방법

• 각 층의 가중치 및 활성화 자코비안 성분의 크로네커 곱 합으로 히세 지도를 분해한다.
• 가중치 행렬과 활성화 자코비안의 크로네커 곱을 사용하여 히세를 구조화된 선형 연산자로 표현한다.
• 히세 연산자에 대해 특이값 분해(SVD)를 활용한 저랭크 근사를 적용하며, Ω가 랭크 s를 가진다고 가정한다.
• C ∈ ℝ^{K×s} 및 D ∈ ℝ^{s×K}인 인수분해 Ω = CD를 사용하여 히세 연산의 계산 복잡도를 감소시킨다.
• 블록 행렬 표기법과 벡터화를 활용하여 각 층의 기여를 재귀적으로 히세 구조를 유도한다.
• 가중치 행렬의 벡터화 표현(vecr)을 활용하여 히세 성분을 압축되고 미분 가능한 형태로 표현한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크의 히세 행렬은 각 층의 가중치 및 활성화 상호작용 측면에서 어떻게 구조화되어 있는가?
• RQ2 과다 매개변수화된 네트워크에서 히세 지도의 유효 랭크는 무엇에 의해 결정되는가?
• RQ3 명시적인 행렬 계산 없이도 저랭크 분해를 통해 히세를 효율적으로 근사할 수 있는가?
• RQ4 히세에 존재하는 크로네커 곱 구조는 최적화 및 일반화 행동과 어떻게 관련되는가?
• RQ5 히세의 스펙트럼 성질과 랭크를 지배하는 데 있어 행렬 Ω의 역할은 무엇인가?

주요 결과

• 히세 지도의 구조는 각 층의 가중치 행렬과 활성화 자코비안의 크로네커 곱에 의해 결정된다.
• 히세의 유효 랭크는 랭크가 s로 가정된 행렬 Ω의 랭크에 의해 결정되며, 이는 저랭크 히세 근사를 가능하게 한다.
• 히세는 전체 히세를 구성하지 않고도 크로네커 곱 성분의 합으로 표현할 수 있어 효율적인 계산이 가능하다.
• C ∈ ℝ^{K×s} 및 D ∈ ℝ^{s×K}인 Ω = CD를 사용함으로써 히세의 저랭크 근사가 가능해져 계산 비용이 감소한다.
• vecr(Wℓ)를 활용한 히세의 벡터화 형태는 모든 층에 걸친 곡률을 압축된 형태로 표현할 수 있게 한다.
• 이 프레임워크는 히세 곡률이 각 층의 가중치 및 활성화 통계량에 대응하는 방향에 집중되어 있음을 드러낸다.