[논문 리뷰] Wide Neural Networks with Bottlenecks are Deep Gaussian Processes

Devanshu Agrawal, Theodore Papamarkou외 1명|arXiv (Cornell University)|2020. 01. 03.

Gaussian Processes and Bayesian Inference참고 문헌 55인용 수 6

한 줄 요약

이 논문은 유한한 너비의 버팀목 레이어를 가진 베이지안 신경망이 넓은 극한에서 가우시안 프로세스의 조합—즉, 버팀목 신경망 가우시안 프로세스(bottleneck NNGP)로 수렴함을 증명한다. 주요 기여는 계층적 아키텍처의 수렴에서 한계와 조합 연산의 순서를 바꾸는 데 발생하는 미묘한 기술적 과제를 해결한 공식적 근거를 제공한 것이다.

ABSTRACT

There has recently been much work on the "wide limit" of neural networks, where Bayesian neural networks (BNNs) are shown to converge to a Gaussian process (GP) as all hidden layers are sent to infinite width. However, these results do not apply to architectures that require one or more of the hidden layers to remain narrow. In this paper, we consider the wide limit of BNNs where some hidden layers, called "bottlenecks", are held at finite width. The result is a composition of GPs that we term a "bottleneck neural network Gaussian process" (bottleneck NNGP). Although intuitive, the subtlety of the proof is in showing that the wide limit of a composition of networks is in fact the composition of the limiting GPs. We also analyze theoretically a single-bottleneck NNGP, finding that the bottleneck induces dependence between the outputs of a multi-output network that persists through extreme post-bottleneck depths, and prevents the kernel of the network from losing discriminative power at extreme post-bottleneck depths.

연구 동기 및 목표

• 유한한 너비의 버팀목 레이어를 가진 베이지안 신경망이 넓은 극한에서 깊이 있는 가우시안 프로세스로 수렴함을 공식적으로 확립하는 것.
• 계층적 신경망 아키텍처에서 한계와 조합 연산의 순서를 바꾸는 데 발생하는 기술적 과제를 해결하는 것.
• 버팀목 아키텍처가 NNGP의 조합을 유도함으로써 신경망 가우시안 프로세스(NNGPs)와 깊이 있는 가우시안 프로세스(DGPs)의 이론적 프레임워크를 통합하는 것.
• 버팀목이 다중 출력 네트워크에서 출력 간 의존성과 커널 행동에 미치는 영향을 분석하는 것.
• 실제 데이터셋에서 표준 NNGP에 비해 버팀목이 있는 NNGP가 더 높은 모델 가능도를 달성함을 실증적으로 보여주는 것.

제안 방법

• 유한한 너비로 유지되는 하나 이상의 은닉 레이어를 가진 버팀목 BNN 아키텍처를 제안하며, 나머지 모든 레이어는 무한한 너비로 성장시킴.
• 입력, 버팀목, 또는 출력 레이어 사이의 하위 네트워크를 '컴포onent'로 정의하며, 각각은 넓은 극한에서 NNGP로 수렴함.
• 각 버팀목 이후 컴포넌트가 입력에 대해 균일하게 수렴할 경우, 전체 조합의 넓은 극한이 한계 NNGP의 조합으로 수렴함을 확립함.
• 버팀목 레이어의 무작위 전활성화에 대한 통합과 한계의 순서를 바꾸는 것을 정당화하기 위해 유계 수렴 정리를 사용함.
• 단일 버팀목, 다중 출력 ReLU 네트워크에서 출력 제곱 간 상관관계에 대한 닫힌 형태 식을 도출하여 버팀목이 유도하는 의존성 구조를 분석함.
• 커널 전파 맵의 固定점 분석을 통해 깊은 버팀목 이후 극한에서 커널의 점근적 행동을 유도함.

실험 결과

연구 질문

• RQ1 유한한 너비의 버팀목 레이어를 가진 베이지안 신경망의 넓은 극한이 가우시안 프로세스의 조합으로 수렴하는가?
• RQ2 조합된 네트워크의 한계가 그 구성 요소의 한계의 조합과 동일시될 수 있는가? 그리고 이러한 성립 조건은 무엇인가?
• RQ3 버팀목 레이어는 다중 출력 깊이 신경망에서 출력 간 의존성 구조에 어떻게 영향을 미치는가?
• RQ4 깊은 버팀목 이후 극한에서 커널의 행동은 어떠한가? 그리고 분류 성능를 유지하는가?
• RQ5 버팀목이 있는 NNGP는 실제 데이터셋에서 표준 NNGP보다 더 높은 모델 가능도를 달성할 수 있는가?

주요 결과

• 버팀목 레이어를 가진 베이지안 신경망의 넓은 극한은 NNGP로 구성된 깊이 있는 가우시안 프로세스로 수렴하며, 직관적 기대를 공식적으로 증명함.
• 버팀목 이후 컴포넌트가 입력에 대해 균일하게 수렴할 조건 하에서, 조합된 네트워크의 수렴이 한계 GPs의 조합으로 수렴함.
• 단일 버팀목 레이어는 다중 출력 네트워크에서 출력 변수 간 비자명한 의존성을 유도하며, 깊은 버팀목 이후 극한에서도 마찬가지임.
• ReLU 기반 버팀목 NNGP에서 출력 제곱 간 상관관계는 커널 전파 맵의 고정점을 포함하는 닫힌 형태 식으로 주어짐.
• 깊은 버팀목 이후 극한에서 커널은 비퇴화되고 분류 성능을 유지하며, 버팀목 이후 가중치 분산이 1을 초과할 경우 출력 간 상관계수가 1에서 멀리 떨어져 있음.
• 실증 결과로, 버팀목이 있는 NNGP가 세 가지 벤치마크 데이터셋에서 표준 NNGP보다 더 높은 모델 가능도를 달성함을 보여주며, 아키텍처의 실용적 이점을 입증함.