[논문 리뷰] Stable behaviour of infinitely wide deep neural networks

Stefano Favaro, Sandra Fortini외 1명|arXiv (Cornell University)|2020. 03. 01.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 10

한 줄 요약

이 논문은 i.i.d. 대칭 스테이블 분포를 가진 가중치와 편향을 갖는 완전 연결형 딥 네URAL 네트워크가 무한한 너비 근처에서 확률적 분포에 대해 스테이블 확률과정으로 수렴함을 입증한다. 이는 기존의 알려진 가우시안 프로세스 근사의 일반화이다. 한계 과정은 다변량 스테이블 유한차원 분포를 보이며, 매개변수는 계층별로 순차적으로 전파되는 재귀적 규칙을 통해 계산된다. 이는 넓은 딥 네트워크 분석을 위한 가우시안 프로세스 근사의 비가우시안 대안을 제공한다.

ABSTRACT

We consider fully connected feed-forward deep neural networks (NNs) where weights and biases are independent and identically distributed as symmetric centered stable distributions. Then, we show that the infinite wide limit of the NN, under suitable scaling on the weights, is a stochastic process whose finite-dimensional distributions are multivariate stable distributions. The limiting process is referred to as the stable process, and it generalizes the class of Gaussian processes recently obtained as infinite wide limits of NNs (Matthews at al., 2018b). Parameters of the stable process can be computed via an explicit recursion over the layers of the network. Our result contributes to the theory of fully connected feed-forward deep NNs, and it paves the way to expand recent lines of research that rely on Gaussian infinite wide limits.

연구 동기 및 목표

• 무한한 너비 딥 네트워크 이론적 이해를 가우시안 프로세스 근사 이외의 영역으로 확장하기 위해.
• 분산이 무한대인 대칭 스테이블 분포를 따르는 가중치와 편향 초기화 조건에서 딥 네트워크의 행동을 연구하기 위해.
• 모든 계층에서 동시 무한 너비 스케일링 조건 하에 네트워크 출력의 확률적 수렴이 스테이블 확률과정으로 이루어짐을 엄밀히 입증하기 위해.
• 네트워크 깊이에 걸쳐 한계 스테이블 과정의 매개변수를 재귀적으로 계산하는 방법을 제공하기 위해.
• 과다매개변수화된 모델에서 실질적인 네트워크의 스케일링 특성을 보여주는, 훈련된 CNN에서의 스테이블 분포에 대한 경험적 증거를 탐색하기 위해.

제안 방법

• 안정성 지수 α ∈ (0,2]를 가진 i.i.d. 대칭 스테이블 분포로 네트워크 가중치와 편향을 초기화하며, 이는 가우시안 분포를 특수한 경우(α=2)로 포함한다.
• 모든 계층에 동시에 무한 너비 스케일링을 적용하여 유한차원 분포의 수렴을 보장한다.
• 스케일 매개변수를 계층 간에 재귀적으로 전파함으로써 네트워크 출력의 한계 분포가 다변량 스테이블 분포임을 도출한다.
• 특성 함수와 스테이블 분포의 안정성 성질을 활용하여 네트워크 출력 과정의 확률적 수렴을 증명한다.
• 대칭화된 이산 스펙트럼 측도를 활용한 몬테카를로 샘플링을 통해 한계 스테이블 과정을 시뮬레이션하고 수치적 수렴을 검증한다.
• 최대우도추정법을 사용하여 훈련된 CNN의 가중치와 편향에 대해 스테이블 분포를 피팅하고, 경험적 CDF를 활용해 가우시안 분포와의 적합도를 비교한다.

실험 결과

연구 질문

• RQ1 가중치와 편향이 i.i.d. 대칭 스테이블 분포를 따르며 너비가 무한대에 접근할 때, 완전 연결형 딥 네트워크의 한계 분포는 무엇인가?
• RQ2 꼬리가 두꺼운 초기화 조건을 가진 딥 네트워크의 무한 너비 근사는 기존의 가우시안 프로세스 근사와 어떻게 다를까?
• RQ3 한계 스테이블 과정의 매개변수는 네트워크 계층을 거쳐 재귀적으로 계산될 수 있는가?
• RQ4 훈련된 딥 네트워크는 가중치와 편향 분포가 가우시안 분포보다 스테이블 분포로 더 잘 근사되는가?
• RQ5 배치 정규화와 적응형 최적화 기법을 사용해 ImageNet에서 훈련된 과다매개변수화된 CNN에서 스테이블 분포에 대한 경험적 증거는 무엇인가?

주요 결과

• i.i.d. 대칭 스테이블 분포를 가진 가중치와 편향을 갖는 딥 네트워크의 무한 너비 근사는 다변량 스테이블 유한차원 분포를 갖는 스테이블 확률과정으로 확률적 수렴을 보인다.
• 이 한계 과정은 기존의 알려진 가우시안 프로세스 근사를 일반화하며, 안정성 지수 α = 2일 때에만 가우시안 케이스로 복원된다.
• 한계 스테이블 과정의 매개변수는 스케일 및 스펙트럼 측도를 각 계층을 거쳐 전파하는 재귀 공식을 통해 계산된다.
• 수치 시뮬레이션 결과, 중간 크기의 너비(n=300)에서도 유한 너비 네트워크 출력과 이론적 스테이블 근사 간의 높은 일치도를 보였다.
• 훈련된 VGG-16, ResNet-50, ResNet-101 모델의 경험적 분석 결과, 가중치와 편향 분포의 안정성 지수 α가 종종 2 미만임을 확인하여 비가우시안 행동을 시사한다.
• 적합도 검정 결과, 스테이블 분포가 특히 극단치에서의 꼬리 행동을 가우시안 분포보다 더 잘 묘사함을 확인하였다.