[논문 리뷰] Simplified Stochastic Feedforward Neural Networks

Kimin Lee, Jaehyung Kim외 2명|arXiv (Cornell University)|2017. 04. 11.

Advanced Neural Network Applications참고 문헌 40인용 수 4

한 줄 요약

이 논문은 대규모 스토케스틱 피드포워드 신경망(SFNNs)의 효율적 훈련을 가능하게 하기 위해 사전 훈련된 결정론적 딥 네ural 네트워크(DNNs)를 활용하는 새로운 중간 스토케스틱 신경망인 Simplified-SFNN을 제안한다. DNN → Simplified-SFNN → SFNN 계층 구조를 수립함으로써, 성능을 유지하면서 DNN 파라미터를 Simplified-SFNN로 전이하고 효과적인 피니팅을 가능하게 하여, 28층 WRN 모델을 사용한 CIFAR-100 및 SVHN에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

It has been believed that stochastic feedforward neural networks (SFNNs) have several advantages beyond deterministic deep neural networks (DNNs): they have more expressive power allowing multi-modal mappings and regularize better due to their stochastic nature. However, training large-scale SFNN is notoriously harder. In this paper, we aim at developing efficient training methods for SFNN, in particular using known architectures and pre-trained parameters of DNN. To this end, we propose a new intermediate stochastic model, called Simplified-SFNN, which can be built upon any baseline DNNand approximates certain SFNN by simplifying its upper latent units above stochastic ones. The main novelty of our approach is in establishing the connection between three models, i.e., DNN->Simplified-SFNN->SFNN, which naturally leads to an efficient training procedure of the stochastic models utilizing pre-trained parameters of DNN. Using several popular DNNs, we show how they can be effectively transferred to the corresponding stochastic models for both multi-modal and classification tasks on MNIST, TFD, CASIA, CIFAR-10, CIFAR-100 and SVHN datasets. In particular, we train a stochastic model of 28 layers and 36 million parameters, where training such a large-scale stochastic network is significantly challenging without using Simplified-SFNN

연구 동기 및 목표

• 스토케스틱 피드포워드 신경망(SFNNs)의 훈련 과제를 해결하기 위해, 추론이 비가역적이며 직접적인 백프로파게이션 지원이 부족한 데서 기인하는 어려움을 해결한다.
• DNN 아키텍처와 훈련 기술의 기존 성과를 활용하여, 처음부터 훈련하는 대신 실용적이고 효율적인 SFNN 훈련 절차를 개발한다.
• DNNs, Simplified-SFNN, SFNNs 간의 이론적 및 실증적 연결을 구축하여, 파라미터 전이와 성능 유지가 가능하도록 한다.
• 다양한 벤치마크에서 체계적인 실험을 통해, SFNNs가 특히 깊은 아키텍처에서 DNNs보다 더 우수한 정규화 효과를 제공한다는 것을 입증한다.

제안 방법

• SFNNs와 DNNs 사이의 중간 모델로 Simplified-SFNN을 제안하며, 여기서는 스토케스틱 유닛이 상층부에만 도입되어 스토케스틱 구조를 단순화한다.
• DNN에서 Simplified-SFNN으로의 엄밀한 파라미터 변환을 수립하여, 네트워크의 입력-출력 매핑을 유지한다.
• 표준 백프로파게이션을 통한 훈련 가능성을 유지하면서, 전체 SFNN의 행동을 근사하기 위해 두 개의 비선형 활성화 함수를 사용한다.
• 두 단계 훈련 전략을 적용한다: 먼저 DNN을 사전 훈련한 후, 변환된 DNN 파라미터를 사용하여 해당 Simplified-SFNN을 피니팅한다.
• Simplified-SFNN의 피니팅 중에 드롭아웃 및 배치 정규화와 같은 기존 DNN 기법을 적용하여 일반화 성능을 향상시킨다.
• 훈련 중 테스트 오차 평가를 위해 M=5개의 샘플을 사용한 몬테카를로 근사를 적용하여 안정적인 성능 추정을 확보한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 DNN 파라미터가 스토케스틱 모델으로 효과적으로 전이되어 훈련 효율성과 성능 향상이 가능할 수 있는가?
• RQ2 Simplified-SFNN이 기존에 직접 훈련이 어려운 대규모 SFNNs를 효율적으로 훈련할 수 있는 실현 가능한 길을 제공하는가?
• RQ3 Simplified-SFNN의 스토케스틱 특성은 특히 깊은 아키텍처에서 DNN 대비 더 우수한 일반화 성능을 제공하는가?
• RQ4 제안된 방법이 CIFAR-10, CIFAR-100, SVHN과 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• Simplified-SFNN는 모든 분류 작업에서 해당 DNN 기준선을 일관되게 능가하며, 정규화 성능 향상을 입증한다. WRN-28를 사용한 CIFAR-100에서 오차율이 0.58% 감소하였다.
• WRN-28 모델을 Simplified-SFNN를 통해 피니팅한 결과, CIFAR-100에서 테스트 오차율이 19.72%를 기록하여 원본 DNN 대비 0.58% 향상되었다.
• WRN 아키텍처에 더 많은 스토케스틱 레이어(최대 두 개)를 추가함으로써 오차율이 추가로 감소하여, 스토케스틱 깊이와 성능 향상 간의 정적 상관관계를 시사한다.
• 제안된 방법을 통해 28층, 3600만 파라미터의 스토케스틱 네트워크를 훈련할 수 있었으며, 이는 Simplified-SFNN 중간 단계 없이 직접 훈련하는 데는 상당히 도전적인 과제였다.
• 중국어 문자 생성 작업에서 다중 모달 출력을 생성하여, 결정론적 DNNs를 초월한 표현력을 입증하였으며, 간단한 파라미터 전이 방식으로 훈련된 SFNN들과는 대조적으로 나타났다.
• 피니팅된 Simplified-SFNN는 SVHN에서 3.06%의 오차율을 기록하여, 한 개의 스토케스틱 레이어를 사용할 경우 기준선 WRN 대비 0.19% 향상되었고, 두 개의 레이어를 사용할 경우에도 0.19% 향상되었다.