[논문 리뷰] Neural Sampling in Hierarchical Exponential-family Energy-based Models

Xingsi Dong, Si Wu|arXiv (Cornell University)|2023. 10. 12.

Neural Networks and ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 계층적 지수족 에너지 기반(Hierarchical Exponential-family Energy-based, HEE) 모델을 제안하며, 계층 간의 분할 함수 분해와 빠른 동역학을 가지는 뉴런을 사용해 정규화 항을 샘플링함으로써 국소적이고 생물학적으로 타당한 추론과 학습을 가능하게 한다. 이 모델은 음성 단계가 필요로 하지 않는 효율적이고 수렴 가능한 학습을 달성하며, 진동과 일시적 반응을 포함한 생물학적 신경 동역학을 재현하고, 최신의 에너지 기반 모델들과 비교해 높은 품질의 이미지를 생성한다.

ABSTRACT

Bayesian brain theory suggests that the brain employs generative models to understand the external world. The sampling-based perspective posits that the brain infers the posterior distribution through samples of stochastic neuronal responses. Additionally, the brain continually updates its generative model to approach the true distribution of the external world. In this study, we introduce the Hierarchical Exponential-family Energy-based (HEE) model, which captures the dynamics of inference and learning. In the HEE model, we decompose the partition function into individual layers and leverage a group of neurons with shorter time constants to sample the gradient of the decomposed normalization term. This allows our model to estimate the partition function and perform inference simultaneously, circumventing the negative phase encountered in conventional energy-based models (EBMs). As a result, the learning process is localized both in time and space, and the model is easy to converge. To match the brain's rapid computation, we demonstrate that neural adaptation can serve as a momentum term, significantly accelerating the inference process. On natural image datasets, our model exhibits representations akin to those observed in the biological visual system. Furthermore, for the machine learning community, our model can generate observations through joint or marginal generation. We show that marginal generation outperforms joint generation and achieves performance on par with other EBMs.

연구 동기 및 목표

• 뇌 기능과 일치하는 시간적·공간적 국소화를 갖춘 샘플링 기반 베이지안 추론과 국소적 학습을 지원하는 생성 모델을 개발하는 것.
• 기존에 비국소적인 음성 단계가 필요한 에너지 기반 모델(EBMs)에서 분할 함수 추정 문제를 해결하는 것.
• 추론 동역학에 신경 적응을 통합하여 수렴 속도를 가속화하고 생물학적 신경 현상과 유사하게 만드는 것.
• 모델이 현실적인 데이터를 생성하고 생물학적 시각 체계에서 관찰되는 표현 방식과 유사한 표현을 생성할 수 있는지 검증하는 것.

제안 방법

• 전역 분할 함수를 계층별 정규화 항의 합으로 분해함으로써 샘플링 공간을 곱의 형태에서 합의 형태로 감소시키는 계층적 지수족 에너지 기반(HEE) 모델을 제안한다.
• 시간 상수를 짧게 설정한 빠른 동역학 뉴런 그룹을 사용하여 분해된 로그-분할 함수의 기울기를 샘플링함으로써 정규화 항을 국소적으로 추정할 수 있도록 한다.
• 추론 과정에 신경 적응을 모멘텀 유사 항으로 통합하여 동역학을 이阶 Langevin 과정으로 변형함으로써 수렴 속도를 가속화한다.
• 잠재 공간에서의 마진널 MCMC를 활용한 생성 방식을 도입하여 연합 생성 방식보다 우수하며, 다른 EBMs와 동등한 성능을 보인다.
• CIFAR10에서 학습 시 수용 영역과 같은 생물학적 제약 조건을 통합하여 모델의 표현 방식을 시각 피질에서 관찰된 것과 유사하게 만든다.
• 확산 모델과 유사한 계층적 마르코프 구조를 활용하지만, 시간이 아닌 뉴런 계층을 따라 마르코프 체인을 전개한다.

실험 결과

연구 질문

• RQ1 계층적 에너지 기반 모델은 뇌의 신경 계산과 일치하는 시간적·공간적 국소화를 갖춘 효율적 추론과 국소적 학습을 가능하게 할 수 있는가?
• RQ2 에너지 기반 모델에서 분할 함수 추정을 비국소적인 음성 단계 없이 국소화할 수 있는가?
• RQ3 내재된 신경 적응이 비볼록 에너지 경관에서 샘플링을 가속화하는 모멘텀 메커니즘으로 기능할 수 있는가?
• RQ4 HEE 모델은 생물학적 시각 체계에서 관찰되는 바와 유사한 의미적 특징(예: 방향, 색상, 카테고리)의 표현을 생성할 수 있는가?
• RQ5 HEE 모델에서의 마진널 생성 방식은 다른 최신 에너지 기반 모델들과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• HEE 모델은 분할 함수를 계층 간에 분해함으로써 음성 단계가 필요 없이 완전히 국소적인 시간 및 공간적 학습을 가능하게 한다.
• 계층별 정규화 항을 샘플링하기 위해 빠른 동역학 뉴런을 사용함으로써 모델은 분할 함수를 추정하고 동시에 추론을 수행할 수 있다.
• 신경 적응을 모멘텀 항으로 통합함으로써 추론 속도가 가속되고 생물학적 시스템에서 흔히 관찰되는 진동과 일시적 반응과 같은 신경 현상이 유도된다.
• FashionMNIST 및 CIFAR10에서 HEE 모델은 다른 최신 에너지 기반 모델들과 동등한 이미지 생성 성능을 달성한다.
• 모델이 학습한 의미적 특징(예: 방향, 색상, 카테고리)의 표현은 생물학적 시각 체계에서 관찰되는 것과 유사하게 나타난다.
• HEE 모델에서의 마진널 생성 방식은 연합 생성 방식을 능가하며 다른 EBMs와 동등한 성능을 보이며, 강력한 생성 능력을 입증한다.