[논문 리뷰] ProbAct: A Probabilistic Activation Function for Deep Neural Networks

Kumar Shridhar, Joonho Lee외 7명|arXiv (Cornell University)|2019. 05. 26.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 24

한 줄 요약

이 논문은 학습 가능한 평균과 분산을 갖는 가우시안 분포에서 출력을 샘플링하는 새로운 확률적, 학습 가능한 활성화 함수인 ProbAct를 소개한다. 전방 전파 중에 확률성을 도입함으로써 ProbAct는 정규화 역할을 하여 일반화 성능과 불확실성 추정을 향상시키며, 이미지 데이터셋에서는 ReLU보다 2–3% 높은 정확도를, 텍스트 데이터셋에서는 1–2% 높은 정확도를 달성한다. 이는 데이터 감소 및 노이즈가 있는 입력 조건에서도 성립한다.

ABSTRACT

Activation functions play an important role in training artificial neural networks. The majority of currently used activation functions are deterministic in nature, with their fixed input-output relationship. In this work, we propose a novel probabilistic activation function, called ProbAct. ProbAct is decomposed into a mean and variance and the output value is sampled from the formed distribution, making ProbAct a stochastic activation function. The values of mean and variances can be fixed using known functions or trained for each element. In the trainable ProbAct, the mean and the variance of the activation distribution is trained within the back-propagation framework alongside other parameters. We show that the stochastic perturbation induced through ProbAct acts as a viable generalization technique for feature augmentation. In our experiments, we compare ProbAct with well-known activation functions on classification tasks on different modalities: Images(CIFAR-10, CIFAR-100, and STL-10) and Text (Large Movie Review). We show that ProbAct increases the classification accuracy by +2-3% compared to ReLU or other conventional activation functions on both original datasets and when datasets are reduced to 50% and 25% of the original size. Finally, we show that ProbAct learns an ensemble of models by itself that can be used to estimate the uncertainties associated with the prediction and provides robustness to noisy inputs.

연구 동기 및 목표

• 딥 신경망에서 결정론적 활성화 함수의 한계를 해결하기 위해 생물학적 신경 소음에서 영감을 얻은 확률성을 도입한다.
• 특히 데이터가 적은 환경과 노이즈가 있는 입력 조건에서 과적합에 대한 저항력을 향상시키고 모델의 일반화 성능을 개선한다.
• 확률적 활성화 출력을 통해 불확실성 추정과 암묵적 모델 앙상블 학습을 가능하게 한다.
• 평균과 분산에 대해 학습 가능한 파rameter를 통합한 미분 가능하고 역전파가 가능한 활성화 함수를 설계한다.
• 다양한 모odalities—이미지와 텍스트—에 대해 표준 벤치마크에서 다양한 데이터 및 노이즈 조건 하에서 ProbAct의 성능을 평가한다.

제안 방법

• ProbAct는 각 뉴런의 학습 가능한 평균과 분산을 갖는 가우시안 분포에서 샘플링함으로써 확률적 활성화를 정의한다.
• 평균과 분산은 알려진 함수를 사용해 고정되거나, 네트워크 가중치와 함께 엔드 투 엔드로 백프로파게이션을 통해 학습된다.
• 확률적 샘플링은 전활성화 값에 적용되어, 특징 증강의 한 형태로 작용하는 노이즈를 도입한다.
• 이 방법은 암묵적 모델 앙상블 학습을 가능하게 하며, 여러 차례의 확률적 전방 전파를 통해 다양한 예측을 도출함으로써 불확실성 추정이 가능하다.
• 재구성 기법을 통해 확률적 출력의 기울기를 계산함으로써 샘플링 과정을 거쳐 역전파가 가능해진다.
• 다양한 구성이 평가되었으며, 수렴성과 파라미터 효율성 간의 상충 관계를 고려한 단일, 채널별, 원소별 학습 가능한 평균과 분산을 포함한다.

실험 결과

연구 질문

• RQ1 확률적이고 학습 가능한 활성화 함수인 ProbAct가 결정론적 대안 대비 딥 신경망의 일반화 성능을 향상시키는가?
• RQ2 ProbAct가 도입하는 확률성이 데이터 부족 또는 노이즈 조건에서 효과적인 정규화 역할을 하는가?
• RQ3 추가적인 아키텍처 변경 없이 ProbAct가 불확실성 추정과 적대적 또는 노이즈가 있는 입력에 대한 강건성을 향상시킬 수 있는가?
• RQ4 원소별 vs. 단일 평균/분산 등의 다양한 파라미터화 전략이 수렴성과 성능에 미치는 영향은 어떠한가?
• RQ5 ProbAct가 비전 및 NLP 벤치마크에서 ReLU 및 기타 표준 활성화 함수를 얼마나 뛰어나게 성능을 내는가?

주요 결과

• CIFAR-10, CIFAR-100, STL-10 데이터셋에서 ProbAct는 ReLU 및 기타 전통적인 활성화 함수보다 분류 정확도를 2–3% 향상시킨다.
• Large Movie Review 데이터셋에서 ProbAct는 ReLU보다 1–2% 높은 정확도를 달성하여 NLP 작업에서의 효과를 입증한다.
• 학습 데이터의 25%만으로도 ProbAct는 우수한 성능을 유지하며, 데이터 부족 조건에서 강력한 일반화 성능을 보여준다.
• ProbAct에서 유도된 확률적 편향은 데이터 증강의 한 형태(활성화를 통한 증강)로 작용하여 과적합을 줄이고 강건성을 향상시킨다.
• ProbAct는 암묵적 모델 앙상블 학습을 가능하게 하여, 다양한 샘플을 사용한 다중 전방 전파를 통해 불확실성 추정이 가능하다.
• 고정된 분산 2를 사용할 경우, ProbAct는 드롭아웃을 사용한 ReLU와 유사한 테스트 정확도를 달성하며, 둘을 조합하면 추가적인 성능 향상이 관찰된다.