[논문 리뷰] Neural Empirical Bayes

Saeed Saremi, Aapo Hyvärinen|Työväentutkimus Vuosikirja|2019. 03. 06.

Neural Networks and Applications참고 문헌 42인용 수 10

한 줄 요약

이 논문은 농도 측정 현상에 뿌리를 두고 있는 기하학적 해석을 통해 커널 밀도 추정과 경험 베이즈를 통합하는 신경 경험 베이즈(NEB) 프레임워크를 소개한다. 신경망으로 로그 밀도를 매개변수화하고 로빈스 추정기법을 활용한 노이즈 제거를 통해 NEB는 워크점프 샘플링 기법과 '창의적 기억'을 생성하는 새로운 유형의 연관 기억 모델(NEBULA)을 가능하게 한다. 이는 고차원 구면 상호작용에서 유래된 구조적이고 실제적이지 않은 데이터 포인트이다.

ABSTRACT

We unify $ extit{kernel density estimation}$ and $ extit{empirical Bayes}$ and address a set of problems in unsupervised learning with a geometric interpretation of those methods, rooted in the $ extit{concentration of measure}$ phenomenon. Kernel density is viewed symbolically as $X ightharpoonup Y$ where the random variable $X$ is smoothed to $Y= X+N(0,σ^2 I_d)$, and empirical Bayes is the machinery to denoise in a least-squares sense, which we express as $X \leftharpoondown Y$. A learning objective is derived by combining these two, symbolically captured by $X ightleftharpoons Y$. Crucially, instead of using the original nonparametric estimators, we parametrize $ extit{the energy function}$ with a neural network denoted by $ϕ$; at optimality, $ abla ϕ\approx - abla \log f$ where $f$ is the density of $Y$. The optimization problem is abstracted as interactions of high-dimensional spheres which emerge due to the concentration of isotropic gaussians. We introduce two algorithmic frameworks based on this machinery: (i) a "walk-jump" sampling scheme that combines Langevin MCMC (walks) and empirical Bayes (jumps), and (ii) a probabilistic framework for $ extit{associative memory}$, called NEBULA, defined à la Hopfield by the $ extit{gradient flow}$ of the learned energy to a set of attractors. We finish the paper by reporting the emergence of very rich "creative memories" as attractors of NEBULA for highly-overlapping spheres.

연구 동기 및 목표

• 농도 측정 현상에 뿌리를 두고 있는 기하학적 프레임워크 내에서 커널 밀도 추정과 경험 베이즈를 통합하는 것.
• 양방향 연산으로서 데이터 스무딩(X → Y)과 노이즈 제거(X ← Y)를 모델링하여 비지도 학습 문제를 해결하는 것.
• 매끄러운 데이터 Y의 밀도 f에 대해 −∇log f를 근사하는 신경망 기반 에너지 함수를 개발하는 것.
• 랭지에빈 MCMC와 경험 베이즈 노이즈 제거를 조합한 워크점프 샘플링 기법을 도입하는 것.
• 데이터에서 액트로포어를 학습하는 확률적 연관 기억 시스템인 NEBULA를 설계하여 '창의적' 기억 형성 현상을 나타내는 것.

제안 방법

• 데이터 스무딩은 X ↱ Y로 기호적으로 표현되며, 여기서 Y = X + N(0, σ²I_d)이다. 경험 베이즈를 통한 노이즈 제거는 X ⇩ Y로 표현되며, 로빈스 추정기법을 사용하여 X̂(y) = y + σ²∇log f(y)로 정의된다.
• 학습 목표는 원본 샘플과 복원된 샘플 간의 평균 제곱오차를 최소화하는 E[‖X − X̂(Y)‖²]로 설정된다.
• 로그 밀도 ∇log f는 신경망 φ를 통해 근사되며, ∇φ ≈ −∇log f를 만족하도록 스토하스틱 경사 하강법으로 학습된다.
• 프레임워크는 농도 측정 현상에 기반하여, 고차원에서 등방성 가우시안 분포가 고차원 구면에 집중됨을 보여주며, 이는 매니폴드의 분해-확장 현상으로 이어진다.
• 워크점프 샘플링 기법이 제안되며, 랭지에빈 MCMC 단계(걷기)와 경험 베이즈 노이즈 제거 단계(점프)가 번갈아가며 적용되어 샘플 품질을 향상시킨다.
• NEBULA는 학습된 에너지 함수 위의 기울기 흐름 모델로, 고차원 공간 내에서의 i-구면 상호작용의 중첩으로부터 액트로포어가 생성된다.

실험 결과

연구 질문

• RQ1 커널 밀도 추정과 경험 베이즈를 고차원 농도 측정 현상에 뿌리를 두고 있는 기하학적 프레임워크 내에서 어떻게 공식적으로 통합할 수 있는가?
• RQ2 등방성 가우시안 노이즈로 데이터를 스무딩할 때 고차원에서 발생하는 매니폴드 분해-확장 현상의 의미는 무엇인가?
• RQ3 에너지 함수의 신경망 매개변수화가 비정규화된 밀도 추정을 위한 스코어 함수 ∇log f를 효과적으로 근사할 수 있는가?
• RQ4 기본 MCMC에 비해 워크점프 샘플링 기법이 비지도 학습에서 샘플 품질을 얼마나 향상시킬 수 있는가?
• RQ5 NEBULA 모델의 액트로포어는 '창의적' 기억 형성, 즉 원본 데이터셋에 존재하지 않는 구조적이고 실제적이지 않은 데이터 포인트를 나타내는가?

주요 결과

• 프레임워크는 고차원에서 등방성 가우시안 노이즈로 데이터를 스무딩할 경우, 분포의 지지 집합이 저차원 매니폴드 M에서 고차원 구면 N ≈ √((ε² + σ²)(d − d_♯))S^{d−1}으로 확장됨을 보여주며, 이를 매니폴드 분해-확장 현상이라 한다.
• 제안된 워크점프 샘플링 기법은 효과적인 노이즈 제거 점프 단계 덕분에 뛰어난 시각적 품질의 샘플을 생성한다. 이는 랭지에빈 MCMC의 드리프트를 보정한다.
• 연관 기억 모델인 NEBULA는 f_X나 f_Y의 통계적 샘플이 아닌, 잠재적으로 나타나는 구조적 표현을 생성한다.
• σ = 0.3일 때, 강한 i-구면 상호작용은 숫자 '3'을 '7'로 변형시키는 등 비트리비얼하고 맥락 민감한 기억 형성 현상을 보여준다.
• 균일한 랜덤 점들로 초기화된 [0,1]^d에서 NEBULA는 훈련 데이터에 존재하지 않는 구조적이고 실제적이지 않은 이미지, 예를 들어 그림 9와 10에 나타난 바와 같이 '창의적 기억'을 생성한다.
• 이러한 창의적 기억은 수동 선택 없이도 시스템 내에서 자연스럽게 유도되며, i-구면 상호작용과 학습된 에너지 함수가 복잡하고 고차원의 표현을 생성함을 시사한다.