[논문 리뷰] Steps Toward Deep Kernel Methods from Infinite Neural Networks

Tamir Hazan, Tommi Jaakkola|arXiv (Cornell University)|2015. 08. 20.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 55

한 줄 요약

이 논문은 다층 구조를 가진 깊이 무한 신경망을 모델링하기 위해 가우시안 프로세스에서 유도된 확률적 커널을 제안하며, 무한한 용량임에도 과적합을 피할 수 있는 커널 기반 학습을 가능하게 한다. 알고리즘적 안정성에 기반한 일반화 경계를 수립하고, 비선형성과 국소 불변성(예: 컨volution 구조)이 이 프레임워크에 어떻게 통합될 수 있는지 보여준다.

ABSTRACT

Contemporary deep neural networks exhibit impressive results on practical problems. These networks generalize well although their inherent capacity may extend significantly beyond the number of training examples. We analyze this behavior in the context of deep, infinite neural networks. We show that deep infinite layers are naturally aligned with Gaussian processes and kernel methods, and devise stochastic kernels that encode the information of these networks. We show that stability results apply despite the size, offering an explanation for their empirical success.

연구 동기 및 목표

• 무한한 파라미터 수를 가진 깊이 신경망의 일반화 행동을 설명하는 것.
• 단일층 모델을 초월해 다층 아키텍처로 확장된 무한 신경망 이론을 확장하는 것.
• 가우시안 프로세스를 사용하여 딥 러닝의 인덕티브 바이어스를 포괄하는 커널 기반 프레임워크를 개발하는 것.
• 알고리즘적 안정성에 기반한 일반화 경계를 사용해 깊이가 무한한 네트워크의 일반화 성능을 분석하는 것.
• 비선형성과 국소 불변성(예: 컨volution 불변성)을 무한 네트워크 프레임워크에 통합하는 것.

제안 방법

• 두 개의 무한히 넓은 은닉층의 정보를 캡슐화하는 가우시안 프로세스에서 유도된 확률적 커널을 유도한다.
• 가우시안 측도를 사용한 가중치 공간에 대한 적분 표현을 통해 첫 번째 레이어의 활성화 함수를 모델링한다.
• 두 번째 레이어를 가우시안 프로세스의 기댓값으로 표현하여 확률적 커널 함수를 형성한다.
• 보흐너 정리를 적용하여 이동 불변 공분산 함수의 편향 없는 추정자들을 도출하고, 효율적인 커널 근사화를 가능하게 한다.
• 안정성 기반 일반화 경계를 갖는 정규화된 손실 최소화 프레임워크를 도입한다.
• 비선형성과 국소 불변성(컨volution 뉴럴 네트워크와 유사한 구조)을 포함한 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 무한 깊이 신경망을 커널 방법을 사용해 모델링하면서도 그 표현 능력을 유지할 수 있는가?
• RQ2 무한한 파라미터 수를 가진 깊이 무한 네트워크가 왜 과적합되지 않는가?
• RQ3 가우시안 프로세스를 사용해 다중 무한 레이어 간의 계층적 구조를 정의할 수 있는가?
• RQ4 비선형성과 국소 불변성(예: 컨volution 불변성)은 어떻게 무한 네트워크 프레임워크에 통합될 수 있는가?
• RQ5 알고리즘적 안정성에 기반해 무한 깊이 네트워크 학습의 일반화 보장을 어떻게 도출할 수 있는가?

주요 결과

• 가우시안 프로세스에서 유도된 제안된 확률적 커널은 깊이 신경망 내 두 개의 무한히 넓은 은닉층의 정보를 성공적으로 캡슐화한다.
• 알고리즘적 안정성에 기반한 프레임워크는 무한한 용량을 가진 깊이 무한 네트워크의 일반화 성능을 설명한다.
• 정규화된 손실 최소화의 안정성에 기반한 일반화 경계가 제안되어 깊이 신경망의 경험적 강건성을 뒷받침한다.
• 비선형성과 국소 불변성(예: 컨볼루션 뉴럴 네트워크의 특성)은 무한 네트워크 프레임워크에 자연스럽게 통합될 수 있다.
• 보흐너 정리를 활용해 이동 불변 커널의 편향 없는 추정자들이 도출되어, 효율적인 커널 근사화가 가능해졌다.
• 프레임워크는 두 레이어를 초월해 확장 가능하지만, 비선형성을 가진 더 깊은 레이어에 대한 해석적 형태는 여전히 열려 있는 문제이다.