[논문 리뷰] Feed-forward Uncertainty Propagation in Belief and Neural Networks

Alexander Shekhovtsov, Boris Flach외 1명|arXiv (Cornell University)|2018. 03. 28.

Adversarial Robustness in Machine Learning참고 문헌 2인용 수 3

한 줄 요약

이 논문은 신경망의 각 층을 통해 평균과 분산을 추적할 수 있도록 확장된 피드포워드 불확실성 전파 방법을 제안한다. 이는 반복 계산 없이 근사 베이지안 추론을 가능하게 하며, 엔드 투 엔드 학습을 지원하고, 입력 노이즈와 드롭아웃 상황에서의 강건성과 깊은 신경망의 안정성 및 校정성을 향상시키면서도 계산 효율성을 유지한다.

ABSTRACT

We propose a feed-forward inference method applicable to belief and neural networks. In a belief network, the method estimates an approximate factorized posterior of all hidden units given the input. In neural networks the method propagates uncertainty of the input through all the layers. In neural networks with injected noise, the method analytically takes into account uncertainties resulting from this noise. Such feed-forward analytic propagation is differentiable in parameters and can be trained end-to-end. Compared to standard NN, which can be viewed as propagating only the means, we propagate the mean and variance. The method can be useful in all scenarios that require knowledge of the neuron statistics, e.g. when dealing with uncertain inputs, considering sigmoid activations as probabilities of Bernoulli units, training the models regularized by injected noise (dropout) or estimating activation statistics over the dataset (as needed for normalization methods). In the experiments we show the possible utility of the method in all these tasks as well as its current limitations.

연구 동기 및 목표

• 층을 통해 평균과 분산을 전파함으로써 딥 신경망에서 불확실성 인식 추론을 가능하게 하기 위해.
• 베이지안 사후 분포를 근사하는 다양한 신뢰성 있는, 엔드 투 엔드로 학습 가능한 방법을 제공하기 위해.
• 입력 불확실성, 대비 노이즈, 드롭아웃 상황에서의 모델 강건성을 향상시키기 위해 분산 전파를 분석적으로 모델링함으로써.
• 드롭아웃 정규화, 정규화 기법, 시그모이드 활성화 함수의 확률적 해석과 같은 실용적 응용을 지원하기 위해.
• 표준 신경망 아키텍처에서 불확실성 인식 학습과 추론을 가능하게 하여 확률적 그래픽 모델과 딥러닝 간 격차를 메우기 위해.

제안 방법

• 표준 신경망 레이어를 확장하여 활성화의 평균과 분산을 추적할 수 있도록 분산 전파 레이어를 도입한다.
• 비선형성에 대한 불확실성 전파를 위해 일阶 근사법을 사용하며, 입력 간 상관관계가 없다는 가정 하에 분산 추정을 위해 델타 방법을 적용한다.
• 은닉 유닛을 베르누이 변수로 간주하고 사후 기대값을 평균과 분산 전파를 통해 근사함으로써 시그모이드 믿음망에 이 방법을 적용한다.
• 곱셈형 베르누이 노이즈 하에서의 기대 출력을 모델링함으로써 분석적 드롭아웃을 가능하게 하여 추론 시 몬테카를로 샘플링을 피한다.
• 불확실성 전파가 네트워크 가중치에 대해 미분 가능하도록 함으로써 엔드 투 엔드 학습을 지원한다.
• 비용이 많이 드는 반복적 추론을 피하기 위해 믿음망에서 불확실성을 추정하기 위해 인자 분해 사후 근사법을 사용한다.

실험 결과

연구 질문

• RQ1 피드포워드 불확실성 전파가 깊은 신경망에서 반복적 베이지안 추론의 스케일러블 대안이 될 수 있는가?
• RQ2 평균과 분산을 전파함으로써 입력 노이즈 또는 대비 편향 상황에서 모델의 강건성이 어떻게 향상되는가?
• RQ3 분석적 불확실성 전파가 표준 드롭아웃과 비교해 일반화 및 성능 향상에 기여하는가?
• RQ4 불확실성 전파가 시그모이드 활성화 함수의 확률적 출력으로서의 신뢰성에 어느 정도 기여하는가?
• RQ5 불확실성 전파가 깊은 신경망에서 정규화 및 초기화에 어떤 영향을 미치는가?

주요 결과

• AP2로 명명된 제안된 방법은 특히 입력 노이즈 상황에서 표준 평균 전파보다 몬테카를로 출력 분포를 더 잘 근사한다.
• CIFAR-10 실험 결과, AP2 전파를 사용한 분석적 드롭아웃은 높은 드롭률(0.3)에서 표준 드롭아웃 및 기준 학습보다 검증 정확도가 향상되었다.
• 이 방법은 입력 가우시안 노이즈와 대비 공격 상황에서 안정성이 크게 향상되어 잘못된 예측에 대한 과신을 감소시켰다.
• 노이즈 상황에서 AP2 전파로 학습된 모델은 예측 확률 대비 진짜 클래스 확률의 오즈 비율이 낮아져 보다 잘 校정된 것으로 나타났다.
• 배치 정규화는 훈련 손실을 낮추지만 노이즈 상황에서 안정성을 떨어뜨리는 것으로 나타나 최적화와 강건성 사이의 상충 관계를 보여주었다.
• 이 방법의 근사 정확도는 깊이가 증가함에 따라 떨어지므로, 캘리브레이션 기법과 함께 사용하지 않는 한 깊은 아키텍처에서는 제한이 있다.