[논문 리뷰] Hessian Eigenspectra of More Realistic Nonlinear Models

Zhenyu Liao, Michael W. Mahoney|arXiv (Cornell University)|2021. 03. 02.

Random Matrices and Applications참고 문헌 99인용 수 6

한 줄 요약

이 논문은 무작위 행렬 이론의 결정론적 등가를 사용하여 일반화된 일반선형모형(G-GLMs)에서 헤시안 고유스펙트럼의 정밀한 이론적 특성을 제공하며, 데이터 구조, 반응 모형, 손실 함수에 따라 스펙트럼이 유한하거나 무한한 지지, 단일 또는 다중 블록, 블록의 양쪽에 분리된 고유값을 보일 수 있음을 밝혀내며, 기존의 마르첸코-파스트르 또는 반원법칙에 기반한 가정을 도전한다.

ABSTRACT

Given an optimization problem, the Hessian matrix and its eigenspectrum can be used in many ways, ranging from designing more efficient second-order algorithms to performing model analysis and regression diagnostics. When nonlinear models and non-convex problems are considered, strong simplifying assumptions are often made to make Hessian spectral analysis more tractable. This leads to the question of how relevant the conclusions of such analyses are for more realistic nonlinear models. In this paper, we exploit deterministic equivalent techniques from random matrix theory to make a \emph{precise} characterization of the Hessian eigenspectra for a broad family of nonlinear models, including models that generalize the classical generalized linear models, without relying on strong simplifying assumptions used previously. We show that, depending on the data properties, the nonlinear response model, and the loss function, the Hessian can have \emph{qualitatively} different spectral behaviors: of bounded or unbounded support, with single- or multi-bulk, and with isolated eigenvalues on the left- or right-hand side of the bulk. By focusing on such a simple but nontrivial nonlinear model, our analysis takes a step forward to unveil the theoretical origin of many visually striking features observed in more complex machine learning models.

연구 동기 및 목표

• 비선형 및 비凸 기계학습 모델에 대한 헤시안 스펙트럼 분석에서 이론과 실무의 격차를 해소하기 위해.
• 이전 이론적 분석에서 사용된 강력한 단순화 가정(예: 마르첸코-파스트르 또는 반원법칙)을 넘어서기 위해.
• 일반화된 일반선형모형(G-GLMs)에서 헤시안 고유스펙트럼이 데이터 구조, 반응 모형, 손실 함수에 어떻게 의존하는지 특성화하기 위해.
• 딥 뉴럴 네트워크와 같은 복잡한 모델에서 시각적으로 관측된 스펙트럼 특징에 대한 이론적 근거를 제공하기 위해.
• 분리된 고유값(스피크)이 데이터 신호가 아닌 모델 구조에서 유래할 수 있으며, 블록의 어느 쪽에도 나타날 수 있음을 보여주기 위해.

제안 방법

• 무작위 행렬 이론의 결정론적 등가 기법을 사용하여 고차원 G-GLMs에서 헤시안 고유스펙트럼을 분석한다.
• 응답이 특성의 선형 조합에 대한 조건부 밀도 $ f(y \mid \mathbf{w}_*^T \mathbf{x}) $를 통해 비선형적으로 의존하는 G-GLMs의 가족을 고려하며, GLMs를 일반화한다.
• 고차원 점근적 영역($ n, p \to \infty $, $ n/p \to c \in (0, \infty) $)에서 헤시안 행렬의 극한 스펙트럼 분포를 유도한다.
• 헤시안 스펙트럼이 유한하거나 무한한 지지, 단일 또는 다중 블록, 그리고 분리된 고유값을 보일 조건을 규명한다.
• 고유값 갭과 모델 파rameter $ \mathbf{w} $에 대한 고유벡터 정렬 행동을 분석하며, 일부 경우에서 비단조화적 경향을 보임을 보여준다.
• 스피크 탐지 목적을 위해, $ f(t) = \frac{\max(t,0) - 1}{\max(t,0) + \sqrt{2/c} - 1} $라는 전처리 함수를 사용하여 단계적 회귀 모델에서 헤시안을 안정화시킨다.

실험 결과

연구 질문

• RQ1 실제 비선형 모델에서의 헤시안 고유스펙트럼은 마르첸코-파스트르 또는 위그너의 반원법칙과 같은 고전적 무작위 행렬 법칙과 어떻게 다를까?
• RQ2 데이터 구조, 반응 모형, 손실 함수 간의 상호작용이 헤시안 스펙트럼 형성에 어떤 역할을 하는가?
• RQ3 헤시안 스펙트럼의 분리된 고유값(스피크)이 데이터 신호가 아닌 모델 구조에서 기인할 수 있으며, 블록의 어느 쪽에 나타날 수 있는가?
• RQ4 $ \|\mathbf{w}\| $가 증가함에 따라 모델 파rameter $ \mathbf{w} $에 대한 고유벡터 정렬 행동은 어떻게 변화하는가, 특히 모델 유도 스피크가 존재할 경우 어떻게 되는가?
• RQ5 헤시안 스펙트럼에서 무한한 지지가 나타나는 것이 의미하는 바는 무엇이며, 어떻게 전처리를 통해 의미 있는 스피크 탐지가 가능할까?

주요 결과

• 특히 제곱 손실을 사용하는 단계적 회귀 모델과 같이 응답 분포가 카이제곱 성격을 띠는 경우, G-GLMs에서의 헤시안 고유스펙트럼은 무한한 지지를 가질 수 있다.
• 분리된 고유값(스피크)은 데이터 신호 외에도 모델 구조 자체에서 기인할 수 있으며, 블록의 오른쪽 쪽에 나타날 수 있다. 이는 전처리를 적용한 단계적 회귀 모델에서 관찰된 바 있다.
• 모델 유도 스피크의 경우, 고유벡터 정렬은 $ \|\mathbf{w}\| $에 대해 단조적이지 않으며, 전통적인 고유값 갭 히우리스틱과 정면으로 배치된다.
• 모델 유도 스피크의 고유값 갭 행동은 비단조화적이며, 모델 파aram터와 신호 강도에 복잡한 의존성을 나타낸다.
• 데이터 신호가 없을 경우($ \boldsymbol{\mu} = \mathbf{0} $), 모델 구조에서 기인한 스피크는 여전히 존재하며, 적절한 전처리를 통해 탐지 가능하다.
• 결정론적 등가 방법을 통해 다양한 비선형 모델에서 스펙트럼 행동을 정밀하게 특성화할 수 있으며, 딥 뉴럴 네트워크와 같은 더 복잡한 모델 분석로의 길을 열어준다.