[논문 리뷰] Techniques for Learning Binary Stochastic Feedforward Neural Networks

Tapani Raiko, Mathias Berglund외 2명|arXiv (Cornell University)|2015. 05. 07.

Neural Networks and Applications인용 수 87

한 줄 요약

이 논문은 이진 스토케스틱 피드포워드 신경망을 훈련시키기 위한 두 가지 새로운 기울기 추정기(gradient estimators)를 제안하며, 스토케스틱 유닛을 통해 역전파하는 데 발생하는 과제를 다룹니다. M=1 샘플링이 병태적 행동을 유도함을 보이며, 벤치마크를 통해 제안된 추정기가 기존 방법보다 훈련 안정성과 일반화 성능에서 뛰어남을 입증합니다.

ABSTRACT

Abstract: Stochastic binary hidden units in a multi-layer perceptron (MLP) network give at least three potential benefits when compared to deterministic MLP networks. (1) They allow to learn one-to-many type of mappings. (2) They can be used in structured prediction problems, where modeling the internal structure of the output is important. (3) Stochasticity has been shown to be an excellent regularizer, which makes generalization performance potentially better in general. However, training stochastic networks is considerably more difficult. We study training using M samples of hidden activations per input. We show that the case M=1 leads to a fundamentally different behavior where the network tries to avoid stochasticity. We propose two new estimators for the training gradient and propose benchmark tests for comparing training algorithms. Our experiments confirm that training stochastic networks is difficult and show that the proposed two estimators perform favorably among all the five known estimators.

연구 동기 및 목표

• 스토케스틱 이진 히든 유닛을 가진 다층퍼셉트론을 훈련시키는 데 어려움을 해결하기 위해.
• M=1 샘플링이 네트워크가 스토케스틱성을 피하게 만드는 문제를 극복하기 위해.
• 훈련 효율성과 성능을 향상시키는 새로운 기울기 추정기를 제안하고 평가하기 위해.
• 스토케스틱 네트워크에서 훈련 알고리즘을 비교하기 위한 벤치마크 테스트를 수립하기 위해.
• 제안된 추정기가 다섯 가지 알려진 기울기 추정기보다 뛰어나다는 것을 검증하기 위해.

제안 방법

• 피드포워드 네트워크 내 스토케스틱 이진 히든 유닛을 통해 역전파를 위한 두 가지 새로운 기울기 추정기를 제안합니다.
• 입력당 히든 활성화의 M개 샘플을 사용하여 기울기를 추정하며, M=1의 경우에 특별한 분석을 수행합니다.
• 이론적 및 실증적 분석을 통해 M=1이 훈련 중 스토케스틱성 회피를 유도함을 보여줍니다.
• 스토케스틱 네트워크의 다양한 훈련 알고리즘을 공정하게 비교하기 위해 벤치마크 테스트를 설계합니다.
• 기울기 추정의 분산을 줄이기 위해 재파arameterization 기반 접근법을 활용합니다.
• 구조적 예측 및 일반화 작업에서의 실증 실험을 통해 추정기를 검증합니다.

실험 결과

연구 질문

• RQ1 왜 M=1 샘플링을 사용한 훈련이 네트워크가 스토케스틱성을 피하게 만드는가?
• RQ2 스토케스틱 이진 신경망을 위한 기울기 추정은 어떻게 향상시킬 수 있는가?
• RQ3 다섯 가지 알려진 기울기 추정기 중 실무에서 가장 우수한 성능을 보이는 것은 무엇인가?
• RQ4 기존 추정기보다 훈련 안정성과 일반화 성능에서 뛰어난 새로운 추정기를 설계할 수 있는가?
• RQ5 스토케스틱 네트워크에서 훈련 알고리즘을 비교할 때 가장 효과적인 벤치마크 기준은 무엇인가?

주요 결과

• M=1의 경우 네트워크가 스토케스틱성을 적극적으로 피하는 본질적으로 다른 훈련 행동을 보입니다.
• 벤치마크 평가에서 제안된 기울기 추정기가 다섯 가지 알려진 추정기 전부를 능가합니다.
• 히든 유닛의 스토케스틱성은 다대일 매핑을 학습할 수 있게 하며, 이는 결정론적 네트워크가 포착할 수 없는 특성입니다.
• 스토케스틱성의 정규화 효과 덕분에 스토케스틱 네트워크는 일반화 성능이 향상됩니다.
• 제안된 추정기는 구조적 예측 과제에서 더 뛰어난 훈련 안정성과 수렴 성능를 달성합니다.
• 실증 결과는 스토케스틱 네트워크 훈련이 어렵지만, 새로운 추정기를 통해 가능하고 효과적임을 확인합니다.