[논문 리뷰] Comparison of Training Methods for Deep Neural Networks

Patrick Glauner|arXiv (Cornell University)|2015. 04. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 9

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 사전 학습 방법을 비교하며, 제한된 볼츠만 머신(RBMs)을 사용하는 딥 벨리프 네트워크(DBNs)와 스택드 오토인코더(SAEs)에 초점을 맞춘다. MNIST 및 카글러 얼굴 감정 데이터셋에서 이 방법들을 평가한 결과, 최적화된 SAE가 테스트 오차 39.75%를 기록하여 최고의 카글러 경쟁 입상자(52.977%)를 능가했으며, 이는 데이터 제약 조건 속에서도 적절한 초모수 조정과 노이즈 제거 정규화가 매우 효과적임을 시사한다.

ABSTRACT

This report describes the difficulties of training neural networks and in particular deep neural networks. It then provides a literature review of training methods for deep neural networks, with a focus on pre-training. It focuses on Deep Belief Networks composed of Restricted Boltzmann Machines and Stacked Autoencoders and provides an outreach on further and alternative approaches. It also includes related practical recommendations from the literature on training them. In the second part, initial experiments using some of the covered methods are performed on two databases. In particular, experiments are performed on the MNIST hand-written digit dataset and on facial emotion data from a Kaggle competition. The results are discussed in the context of results reported in other research papers. An error rate lower than the best contribution to the Kaggle competition is achieved using an optimized Stacked Autoencoder.

연구 동기 및 목표

• 복잡한 컴퓨터 비전 작업 맥락에서 RBMs와 오토인코더를 중심으로 딥 네트워크를 위한 사전 학습 방법을 평가하고 비교하는 것.
• 초모수 선택 및 정규화 기법이 모델의 일반화 능력과 성능에 미치는 영향을 조사하는 것.
• 카글러 얼굴 감정 데이터셋과 같은 제한적이고 노이즈가 많은 데이터셋에서 딥 러닝 접근법의 실현 가능성과 효과성을 평가하는 것.
• 실증적 실험과 문헌 종합 기반으로 딥 네트워크 훈련을 위한 실용적 권고 사항을 제공하는 것.

제안 방법

• 대trasting divergence를 사용하여 깊이 있는 신뢰 네트워크를 초기화하기 위해 게리 계층별 사전 학습을 위한 제한된 볼츠만 머신(RBMs)을 활용한다.
• 디노이징 및 희소 정규화를 적용한 스택드 오토인코더를 사용하여 게리 계층별로 비지도 방식으로 계층적 특징 표현을 학습한다.
• 분류 작업을 위해 네트워크를 적응시키기 위해 사전 학습 이후 피드백 전파를 통한 피니팅을 수행한다.
• 스토캐스틱 경사 하강법에서 L2 정규화, 드롭아웃, 배치 정규화 및 모멘텀을 포함한 표준 딥 러닝 기법을 사용한다.
• Hinton 라이브러리와 딥 러닝 툴박스를 사용하여 MNIST 및 카글러 데이터셋에서 교차 검증 및 초모수 조정을 통한 모델 선택을 수행한다.
• 동일한 설정에서 표준 오토인코더, 디노이징 오토인코더, DBNs 간의 아블레이션 연구를 수행하여 아키텍처 및 정규화의 영향을 분리 분석한다.

실험 결과

연구 질문

• RQ1 MNIST 및 얼굴 감정 인식과 같은 이미지 분류 작업에서 RBM 기반 DBNs와 스택드 오토인코더의 성능은 어떻게 비교되는가?
• RQ2 학습률, 모멘텀, L2 정규화, 드롭아웃과 같은 초모수 선택이 딥 네트워크의 일반화 오차에 어떤 영향을 미치는가?
• RQ3 동일한 최적의 초모수로 훈련된 경우, 비디노이징 스택드 오토인코더가 디노이징 오토인코더를 능가할 수 있는가? 그 이유는 무엇인가?
• RQ4 왜 DBNs와 디노이징 오토인코더는 카글러 얼굴 감정 데이터셋에서 높은 오차율(72.25%)에 도달하여 정체되는가? 이러한 제한성의 원인 요소는 무엇인가?
• RQ5 PCA 및 화이트닝과 같은 데이터 전처리 기법이 노이즈가 많고 중복성이 높은 데이터셋에서 오차 정체를 줄이고 성능을 향상시키는 데 어느 정도 기여할 수 있는가?

주요 결과

• 최적화된 스택드 오토인코더는 카글러 얼굴 감정 데이터셋에서 테스트 오차율 39.75%를 기록하여 최고의 경쟁 입상자(52.977% 오차율)를 크게 능가했다.
• DBNs와 디노이징 오토인코더는 카글러 데이터셋에서 높은 오차율 72.25%에 도달하여 정체되었으며, 이는 최적의 초모수 조정에도 불구하고 모델 및 데이터 제약 조건이 존재함을 시사한다.
• 디노이징 오토인코더와 DBNs에서 열악한 성능을 유발했던 동일한 초모수들이 표준 스택드 오토인코더에선 상당한 성능 향상을 이끌어내었으며, 이는 특정 데이터 조건에서는 디노이징이 유익하지 않을 수 있음을 시사한다.
• 카글러 데이터셋에서의 테스트 오차 정체 현상은 데이터 노이즈, 중복성, 훈련 예제 수 부족, 그리고 사용된 딥 러닝 툴박스의 잠재적 한계 때문일 가능성이 높다.
• 모델 성능은 초모수 선택에 매우 민감했으며, 학습률, 모멘텀 및 정규화 값에 따라 오차율이 크게 변동하여 철저한 초모수 조정의 필요성을 강조한다.
• 결과는 PCA 및 화이트닝과 같은 데이터 전처리 기법이 중복성을 제거하고 특징 간 상관관계를 줄여 오차율을 낮출 수 있을 것으로 시사하지만, 본 연구에서는 이를 구현하지 않았다.