[논문 리뷰] Non-Gaussian processes and neural networks at finite widths

Sho Yaida|arXiv (Cornell University)|2019. 09. 30.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 12

한 줄 요약

이 논문은 누적량의 재귀적, 재정규화군 유사 흐름을 통해 비가우스 전활성화 분포를 모델링하여, 무한히 넓은 신경망에서의 가우스 프리오르를 유한한 넓이의 네트워크로 확장하는 펌더베이티브 프레임워크를 제안한다. 이 방법은 비가우스성을 계층별로 추적할 수 있는 닫힌 형태의 재귀 방정식(R1, R2, R3)을 유도하며, 약간의 비가우스성 있는 프리오르를 가진 베이지안 추론과 커널 및 예측 분포에 대한 유한한 넓이 보정을 가능하게 한다.

ABSTRACT

Gaussian processes are ubiquitous in nature and engineering. A case in point is a class of neural networks in the infinite-width limit, whose priors correspond to Gaussian processes. Here we perturbatively extend this correspondence to finite-width neural networks, yielding non-Gaussian processes as priors. The methodology developed herein allows us to track the flow of preactivation distributions by progressively integrating out random variables from lower to higher layers, reminiscent of renormalization-group flow. We further develop a perturbative procedure to perform Bayesian inference with weakly non-Gaussian priors.

연구 동기 및 목표

• 무한한 넓이의 신경망과 가우스 프로세스 사이의 잘 알려진 대응을 유한한 넓이의 네트워크로 확장하여 비가우스 보정을 통합함으로써.
• 각 계층을 넘는 전활성화 분포의 진동을 재정규화군 흐름과 유사한 군집화 과정으로 모델링함으로써.
• 유한한 넓이의 네트워크에서 약간의 비가우스성 있는 프리오르를 가진 베이지안 추론을 위한 체계적인 펌더베이티브 절차를 개발함으로써.
• 통계적 모멘트(특히 누적량)가 낮은 계층에서 높은 계층으로 향하는 흐름을 추적하는 재귀 방정식을 유도함으로써.
• 가우스 근사 이외의 커널 함수와 예측 분포에 대한 유한한 넓이 보정을 정량화함으로써.

제안 방법

• 다음 계층으로의 전활성화 누적량의 흐름을 제어하는 재귀 방정식(R1, R2, R3)을 유도하여, 고차 모멘트를 통해 비가우스성을 포착함으로써.
• 위크의 계약과 연결된 상관관계 함수(누적량)를 사용하여 깊은 네트워크에서 전활성화의 고차 모멘트를 체계적으로 계산함으로써.
• 너비 N에 대해 ε = 1/N로 펌더베이티브 전개를 적용하여, 유한한 넓이 보정을 무한한 넓이 가우스 근사에서의 작은 이탈로 간주함으로써.
• 계층 간 분포의 흐름을 러닝 커플링이 비가우스성 파rameter를 나타내는 재정규화군 유사 프레임워크로 매핑함으로써.
• 유한한 넓이 보정을 사용하여 가우스 프로세스 베이지안 추론을 비가우스 프리오르로 일반화함으로써, 예측 평균과 공분산을 수정함으로써.
• 역 학습 데이터 커널 행렬과 누적량 기반 보정을 포함한, 수정된 예측 평균 방정식(NGPM’)을 유도함으로써.

실험 결과

연구 질문

• RQ1 무한한 넓이의 가우스 프로세스 근사 이외의 유한한 넓이의 신경망에서 체계적인 비가우스 프리오르를 유도할 수 있는가?
• RQ2 전활성화 분포의 진동을 재정규화군 흐름과 유사한 군집화 과정으로 모델링할 수 있는가?
• RQ3 깊은 네트워크에서 낮은 계층에서 높은 계층으로 향하는 누적량(비가우스성)의 진동을 제어하는 재귀 방정식은 무엇인가?
• RQ4 유한한 넓이 보정은 베이지안 신경망에서 커널 함수와 예측 분포에 어떻게 영향을 미치는가?
• RQ5 펌더베이티브 보정을 사용하여 약간의 비가우스성 프리오르로 일관된 베이지안 추론을 확장할 수 있는가?

주요 결과

• 논문은 계층 간 전활성화 누적량의 펌더베이티브 진동을 기술하는 세 개의 재귀 방정식(R1, R2, R3)을 유도하여, 유한한 넓이 네트워크에서의 비가우스성을 체계적으로 추적할 수 있게 하였다.
• 커널 함수에 대한 유한한 넓이 보정은 고차 누적량을 통해 포착되며, 1/N에 대한 첫 번째 보정 항에 대해 명시적인 표현이 도출되었다.
• 베이지안 추론에서의 예측 평균은 학습 데이터 커널의 역행렬과 누적량 기반 보정 항을 포함하는 펌더베이티브 보정 항으로 수정되어, 새로운 예측 모델(NGPM’)을 이끌어냈다.
• 이 방법은 N→∞ 극한에서 알려진 무한한 넓이 결과를 성공적으로 재현하였으며, 유한한 넓이 보정을 위한 일관된 펌더베이티브 프레임워크를 제공하였다.
• 이 프레임워크는 가중치와 편향의 통계적 구조와 그 누적량에만 의존하므로, 임의의 활성화 함수에 일반적으로 적용 가능하다.
• 이 접근법은 깊은 네트워크 계층 역학과 재정규화군 흐름 사이에 공식적인 유사성을 수립하였으며, 각 척도에서 비가우스성을 정량화하는 러닝 커플링을 제공하였다.