[논문 리뷰] Forward Thinking: Building and Training Neural Networks One Layer at a Time

Chris Hettinger, Tanner Christensen외 4명|arXiv (Cornell University)|2017. 06. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 30

한 줄 요약

이 논문은 백프로파게이션 없이 깊은 신경망을 훈련하기 위한 새로운 프레임워크인 '포워드 토이킹(Forward Thinking)'을 소개한다. 이는 각 층을 순차적으로 훈련하고, 입력을 각 훈련된 층을 거쳐 앞으로 전파시켜 다음 층을 위한 새로운 변환된 데이터를 생성하는 방식이다. 이는 백프로파게이션과 비교해 훈련 시간을 크게 줄이며, MNIST에서 99.72%의 정확도를 기록해 최신 기술 수준(SOTA) 성능을 달성한다. 이는 탐욕스럽고 층별 훈련이 독립적인 방법으로도 매우 효율적이고 효과적일 수 있음을 보여준다.

ABSTRACT

We present a general framework for training deep neural networks without backpropagation. This substantially decreases training time and also allows for construction of deep networks with many sorts of learners, including networks whose layers are defined by functions that are not easily differentiated, like decision trees. The main idea is that layers can be trained one at a time, and once they are trained, the input data are mapped forward through the layer to create a new learning problem. The process is repeated, transforming the data through multiple layers, one at a time, rendering a new data set, which is expected to be better behaved, and on which a final output layer can achieve good performance. We call this forward thinking and demonstrate a proof of concept by achieving state-of-the-art accuracy on the MNIST dataset for convolutional neural networks. We also provide a general mathematical formulation of forward thinking that allows for other types of deep learning problems to be considered.

연구 동기 및 목표

• 깊은 신경망을 훈련하기 위한 확장 가능한 백프로파게이션 없는 프레임워크를 개발하기 위해.
• 비미분 가능 학습기(예: 의사결정트리, 랜덤 포레스트)를 깊은 네트워크 아키텍처에 통합할 수 있도록 하기 위해.
• 다중 층을 걸친 기울기 계산이 필요 없어지므로 훈련 시간을 줄이기 위해.
• 탐욕스럽고 순차적인 층 훈련 방식이 기존 백프로파게이션과 비교해 성능이 유사하거나 뛰어나다는 것을 입증하기 위해.
• 표준 신경망 외의 다양한 딥러닝 문제에 적용 가능한 일반적인 수학적 공식을 제공하기 위해.

제안 방법

• 이전 층의 기울기가 필요 없이 표준 최적화를 사용해 원본 또는 변환된 입력 데이터에서 각 층을 개별적으로 훈련한다.
• 층을 훈련한 후, 모든 훈련 입력을 그 층을 거쳐 전파시어 다음 층을 위한 새로운 변환된 특징 공간을 생성한다.
• 반복적으로 과정을 반복한다: 변환된 데이터에서 새로운 층을 훈련하고, 다시 전파하여 점점 더 정교해지는 표현의 시퀀스를 생성한다.
• 최종 변환된 데이터를 사용해 최종 출력 층을 훈련하며, 원래 작업에서 높은 성능을 달성한다.
• 백프로파게이션을 피함으로써 의사결정트리와 같은 비미분 가능 모델을 포함한 다양한 종류의 학습기를 각 층에 사용할 수 있도록 한다.
• 완전히 연결된 신경망과 컨volutional 신경망 아키텍처를 사용해 프레임워크를 구현하며, 최적 성능을 위해 하이퍼파rameter를 조정한다.

실험 결과

연구 질문

• RQ1 층을 한 번에 하나씩 훈련함으로써 백프로파게이션 없이 깊은 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 이 포워드 토이킹 접근 방식은 기존 백프로파게이션과 유사하거나 뛰어난 성능을 달성할 수 있는가?
• RQ3 은닉층에 의사결정트리와 같은 비미분 가능 학습기를 사용할 때도 이 방법이 효과를 유지하는가?
• RQ4 실제로 포워드 토이킹의 훈련 속도는 표준 백프로파게이션과 비교해 어떻게 되는가?
• RQ5 이 프레임워크는 컨볼루션 네트워크를 포함한 다양한 딥러닝 아키텍처에 일반화될 수 있는가?

주요 결과

• 포워드 토이킹 접근 방식은 컨볼루션 신경망을 사용해 MNIST 데이터셋에서 테스트 정확도 99.72%를 기록했으며, 출판 당시 5위 내외의 최고 성능이었다.
• 완전히 연결된 깊은 신경망을 포워드 토이킹으로 훈련한 결과, MNIST에서 98.89%의 정확도를 달성했으며, 기존 방식으로 훈련한 네트워크와 동일한 성능을 보였다.
• 포워드 토이킹 훈련은 백프로파게이션보다 훨씬 빠르게 진행되었으며, 동일 하드웨어에서 에포크당 24초 대비 53초로, 훨씬 빠른 속도를 기록했다.
• 포워드 토이킹 네트워크는 백프로파게이션 기반 네트워크보다 더 빨리 높은 테스트 정확도에 도달했으며, 훈련 및 테스트 정확도가 더 높은 수준에서 안정화되었다.
• 이 방법은 과적합에 대해 강건했으며, 사전 훈련 기반 접근 방식과 달리 이전에 훈련된 층을 재훈련할 필요가 없었다.
• 이 프레임워크는 일반화 가능하며, 비미분 가능 학습기를 사용할 수 있음을 입증했으며, 이는 포화된 랜덤 포레스트에 관한 동반 논문에서 확인되었다.