[논문 리뷰] On Energy-Based Models with Overparametrized Shallow Neural Networks

Carles Domingo-Enrich, Alberto Bietti외 2명|arXiv (Cornell University)|2021. 04. 15.

Model Reduction and Neural Networks참고 문헌 50인용 수 4

한 줄 요약

이 논문은 과다매개변수화된 얕은 신경망을 갖는 에너지 기반 모델(EBMs)을 연구하여, '활성'(또는 '평균장') 영역에서의 훈련이 '지루한'(또는 커널) 영역보다 낮은 차원의 데이터 구조에 더 잘 적응함을 보여준다. 주요 기여는 변동노름 함수 클래스($\mathcal{F}_1$)를 사용하는 EBMs가 내재 차원에 따라 일반화 속도가 결정되며, 구조화된 데이터에 대해 차원의 저주를 극복한다는 것이다.

ABSTRACT

Energy-based models (EBMs) are a simple yet powerful framework for generative modeling. They are based on a trainable energy function which defines an associated Gibbs measure, and they can be trained and sampled from via well-established statistical tools, such as MCMC. Neural networks may be used as energy function approximators, providing both a rich class of expressive models as well as a flexible device to incorporate data structure. In this work we focus on shallow neural networks. Building from the incipient theory of overparametrized neural networks, we show that models trained in the so-called "active" regime provide a statistical advantage over their associated "lazy" or kernel regime, leading to improved adaptivity to hidden low-dimensional structure in the data distribution, as already observed in supervised learning. Our study covers both maximum likelihood and Stein Discrepancy estimators, and we validate our theoretical results with numerical experiments on synthetic data.

연구 동기 및 목표

• 에너지 기반 모델(EBMs)이 과다매개변수화된 얕은 신경망으로 훈련될 때의 통계적 및 최적화 행동을 이해하기 위해.
• 구조화된 데이터 분포를 학습하기 위해 '활성'(평균장) 영역과 '지루한'(커널) 영역에서 EBMs의 성능을 비교하기 위해.
• 내재 차원이 아닌 내재 차원에 따라 스케일링되는 일반화 경계를 EBMs에 대해 수립하기 위해($\mathcal{F}_1$ 함수 클래스를 사용).
• 낮은 차원의 구조를 갖는 합성 데이터에서 이론적 결과를 수치 실험을 통해 검증하기 위해.

제안 방법

• 무한한 넓이 근사에서 EBMs의 최적화 및 일반화 행동을 분석하기 위해 과다매개변수화된 신경망 이론을 사용한다.
• 펜첼 이중성과 변분법을 적용하여 학습 문제의 이중 형태를 유도하고, 원래 에너지 함수와 그 이중 측도 사이의 연결을 맺는다.
• 두 가지 훈련 목표를 고려한다: MCMC를 통한 최대우도 추정과 스틸 산란 최소화이며, 모두 경사하강법으로 최적화된다.
• 에너지 함수의 행동을 $\mathcal{F}_1$ 공간(변동노름)에서 분석하고, 이는 $\mathcal{F}_2$ 공간(RKHS)과 비교하여 낮은 차원의 구조에 대해 더 뛰어난 적응성을 보임을 보여준다.
• KL 발산과 스틸 산란을 기반으로 일반화 경계를 유도하며, 이는 내재 차원 $d^*$에 따라 결정되며, 주변 차원 $d$에 따라 결정되지 않는다는 것을 보여준다.
• 평균장 스케일링을 사용하여 넓은 얕은 네트워크의 동역학을 모델링하고, 활성 영역에서의 특징 학습 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 과다매개변수화된 얕은 네트워크의 활성 영역에서 EBMs를 훈련하면, 구조화된 데이터에 대해 지루한 영역보다 더 나은 일반화 성능을 얻을 수 있는가?
• RQ2 변동노름 공간($\mathcal{F}_1$)이 낮은 차원의 데이터 구조에 적응함으로써 EBMs에서 차원의 저주를 극복할 수 있는가?
• RQ3 최대우도 또는 스틸 산란을 통한 EBMs의 일반화 경계는 데이터의 내재 차원에 어떻게 의존하는가?
• RQ4 $\mathcal{F}_1$ 함수 클래스는 구조화된 에너지 함수의 효율적 근사에 어떻게 기여하는가?
• RQ5 EBMs의 맥락에서 $\mathcal{F}_1$의 이론적 보장은 RKHS 기반 $\mathcal{F}_2$ 클래스와 비교해 어떻게 다를까?

주요 결과

• 활성 영역에서 훈련된 EBMs의 일반화 경계는 주변 차원 $d$가 아닌 데이터의 내재 차원 $d^*$에 따라 스케일링되며, 이는 차원의 저주를 극복한다.
• $\mathcal{F}_1$ 함수 클래스는 국소 상호작용이나 희소 투영으로 정의된 낮은 차원의 구조를 갖는 에너지 함수를 효율적으로 근사할 수 있다.
• 수치 실험 결과, $\mathcal{F}_1$ 기반 EBMs는 낮은 차원의 구조를 갖는 합성 분포를 성공적으로 학습하는 반면, $\mathcal{F}_2$ 기반 모델은 실패한다.
• 활성 영역은 특징 학습과 데이터 내 숨겨진 낮은 차원의 다양체에 대한 개선된 적응성을 가능하게 하여 지루한 영역에 비해 통계적 우월성을 제공한다.
• 변분 학습 문제의 이중성에서 강력한 이중성이 성립하여 최적 해의 존재를 보장하고, 신경망 에너지 함수를 통해 학습된 깁스 측도를 특성화한다.
• 활성 영역에서 학습된 에너지 함수는 형태 $\frac{1}{Z_{\beta}}\exp\left(-\beta\int\sigma(\langle\theta,x\rangle)\,d\mu^\star(\theta)\right)$ 를 가지며, 이는 이중 측도 $\mu^\star$ 를 최종 모델과 연결한다.