[논문 리뷰] Critical initialisation in continuous approximations of binary neural networks

Grigore Stâmâtescu, Federica Gerace외 3명|arXiv (Cornell University)|2019. 02. 01.

Neural Networks and Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 이진 신경망을 위한 연속적 서rogate를 마르코프 체인 기반으로 유도하는 새로운 방법을 제안하며, 깊은 네트워크 학습에 핵심적인 역할을 하는 임계 초기화(평균 가중치를 ±1 근처로 초기화)가 필수적임을 밝혀낸다. 통찰에 어긋나게도, 표준 초기화 기법은 실패하며, 대신 평균 가중치를 ±1로 초기화함으로써 결정론적 및 확률론적 서rogate 모두에서 안정적인 신호 전파와 기울기 소실/폭발을 방지할 수 있다.

ABSTRACT

The training of stochastic neural network models with binary ($\pm1$) weights and activations via continuous surrogate networks is investigated. We derive new surrogates using a novel derivation based on writing the stochastic neural network as a Markov chain. This derivation also encompasses existing variants of the surrogates presented in the literature. Following this, we theoretically study the surrogates at initialisation. We derive, using mean field theory, a set of scalar equations describing how input signals propagate through the randomly initialised networks. The equations reveal whether so-called critical initialisations exist for each surrogate network, where the network can be trained to arbitrary depth. Moreover, we predict theoretically and confirm numerically, that common weight initialisation schemes used in standard continuous networks, when applied to the mean values of the stochastic binary weights, yield poor training performance. This study shows that, contrary to common intuition, the means of the stochastic binary weights should be initialised close to $\pm 1$, for deeper networks to be trainable.

연구 동기 및 목표

• 이진 신경망의 연속적 서rogate를 위한 원칙적인 초기화 전략 부족 문제를 해결하기 위해.
• 확률적 이진 네트워크의 마르코프 체인 표현을 사용하여 결정론적 및 확률론적 서rogate를 위한 통합 프레임워크를 유도하기 위해.
• 평균 장 이론과 자기 평균화 추론을 사용하여 초기화 시 신호 전파를 분석하기 위해.
• 다양한 서rogate 유형에 대해 임계 초기화가 존재하는지 확인하고, 최적의 초기화 전략을 규명하기 위해.
• 이진 네트워크에서 기울기 역전파 및 초기화에 관해 이전 연구에서 발생한 모순을 해결하기 위해.

제안 방법

• 확률적 이진 네트워크의 마르코프 체인 수식을 사용하여 연속적 서rogate를 유도함으로써, 가중치와 뉴런의 확률적 특성을 통합적으로 다룰 수 있도록 함.
• 가우스 중심극한정리 적용을 통해 각 레이어의 뉴런 활성화 분포를 근사하고, 이로써 이산적인 이진 연산의 연속적 근사를 가능하게 함.
• 평균 장 이론과 자기 평균화 추론을 사용하여 무작위로 초기화된 네트워크를 통해 신호 분산과 상관관계 전파를 묘사하는 스칼라 방정식을 유도함.
• 신호 분산이 레이어 간에 안정적으로 유지되는지 여부를 분석함으로써 임계성을 평가하고, 임계 조건을 도출함.
• 두 가지 서rogate 유형을 비교함: 결정론적(해석적 적분을 통한) 및 확률론적(국소 재구성 기법을 통한), 각각의 임계 초기화 특성을 평가함.
• MNIST 분류 실험을 통해 이론적 예측을 수치적으로 검증함. 다양한 네트워크 깊이, 몬테카를로 샘플 수, 초기화 전략을 적용함.

실험 결과

연구 질문

• RQ1 확률적 이진 네트워크의 마르코프 체인 표현을 사용하여 결정론적 및 확률론적 서rogate를 위한 통합 유도 프레임워크를 개발할 수 있는가?
• RQ2 결정론적 및 확률론적 서rogate 유형에 대해 임계 초기화가 존재하는가? 존재한다면 그 조건은 무엇인가?
• RQ3 확률적 이진 뉴런의 평균 가중치 초기화 방법이 깊은 네트워크에서 신호 전파 및 학습 성능에 어떤 영향을 미치는가?
• RQ4 왜 연속적 네트워크에서 일반적으로 사용되는 표준 초기화 기법들이 이진 가중치의 평균 값에 적용되었을 때 실패하는가?
• RQ5 확률론적 서rogate에서 몬테카를로 샘플 수가 학습 중 해당 이진 네트워크 성능에 어떤 영향을 미치는가?

주요 결과

• 마르코프 체인 수식은 결정론적 및 확률론적 서rogate를 위한 통합 유도를 가능하게 하며, 특히 국소 재구성 기법을 확률적 이진 뉴런에 처음으로 확장함.
• 확률적 이진 가중치와 뉴런을 가진 네트워크에서는 오직 결정론적 서rogate만이 임계 초기화를 달성하며, LRT 기반의 확률론적 서rogate는 그렇지 않음.
• 확률적 이진 가중치와 연속적 뉴런을 가진 네트워크에서는 LRT 서rogate가 임계 초기화를 달성할 수 있으나, 이 경우에 대해 결정론적 서rogate는 존재하지 않음.
• 두 서rogate 유형 모두에 대해 임계 초기화를 달성하기 위해서는 평균 가중치를 ±1 근처로 설정해야 하며, 이는 표준 초기화 힌트와 정반대되는 직관에 어긋나는 결과임.
• 수치 실험 결과, 평균 가중치를 ±1 근처로 초기화할 경우 깊은 네트워크에서 특히 뚜렷하게 향상된 학습 성능를 기록하며, 표준 초기화 기법은 실패함.
• 확률적 이진 네트워크의 성능은 몬테카를로 샘플 수가 많아질수록 향상되며, 연속적 서rogate에 가까워지고 학습이 진행됨에 따라 서rogate의 행동으로 수렴함.