[논문 리뷰] A Survey: Time Travel in Deep Learning Space: An Introduction to Deep Learning Models and How Deep Learning Models Evolved from the Initial Ideas

Haohan Wang, Bhiksha Raj|arXiv (Cornell University)|2015. 10. 16.

Neural Networks and Applications참고 문헌 35인용 수 26

한 줄 요약

이 종합 검토는 초기 연결주의 이론과 인공 신경망에서 현대의 깊이 있는 분류 및 생성 모델에 이르기까지 딥 러닝 모델의 역사를 추적한다. 합성곱 신경망, 제한 동질성 막대기, 딥 베이즈 네트워크, LSTM과 같은 순환 모델의 발전을 상세히 기술하며, 역전파, 오토에인코드어, 드롭아웃, 대비 분산과 같은 핵심 기법을 강조한다. 궁극적으로 적대적 공격에 취약하고, 변형된 입력에서 일반화 능력이 떨어지는 등의 심각한 한계를 밝혀낸다.

ABSTRACT

This report will show the history of deep learning evolves. It will trace back as far as the initial belief of connectionism modelling of brain, and come back to look at its early stage realization: neural networks. With the background of neural network, we will gradually introduce how convolutional neural network, as a representative of deep discriminative models, is developed from neural networks, together with many practical techniques that can help in optimization of neural networks. On the other hand, we will also trace back to see the evolution history of deep generative models, to see how researchers balance the representation power and computation complexity to reach Restricted Boltzmann Machine and eventually reach Deep Belief Nets. Further, we will also look into the development history of modelling time series data with neural networks. We start with Time Delay Neural Networks and move further to currently famous model named Recurrent Neural Network and its extension Long Short Term Memory. We will also briefly look into how to construct deep recurrent neural networks. Finally, we will conclude this report with some interesting open-ended questions of deep neural networks.

연구 동기 및 목표

• 기초 아이디어에서 현재의 아키텍처에 이르기까지 딥 러닝 모델 발전의 종합적이고 간결한 역사적 개요를 제공하는 것.
• 주요 이정표를 통해 분류 모델(예: CNN, 오토에인코드어)과 생성 모델(예: RBM, DBN)의 발전을 추적하는 것.
• 시간 지연 신경망, RNN, LSTM을 통해 시계열 및 순서 데이터 처리를 위한 순차 모델링의 발전을 분석하는 것.
• 적대적 공격에 취약하고, 미세한 변형에 대해 일반화 능력이 떨어지는 등의 심각한 한계를 식별하고 분석하는 것.
• 딥 네트워크 설계 및 내성에 대한 열린 과제와 해결되지 않은 문제를 제기하여 향후 연구를 자극하는 것.

제안 방법

• 퍼셉트론과 역전파를 포함한 초기 신경망 모델과 연결주의 철학에서 딥 러닝의 유전적 배경을 추적한다.
• 스택드 오토에인코드어와 프리트레이닝이 계층별 초기화를 통해 더 깊은 아키텍처를 가능하게 하고 최적화 및 일반화를 향상시키는 방식을 설명한다.
• 합성곱 및 서브샘플링 레이어를 포함한 합성곱 신경망의 아키텍처와 최적화 기법을 상세히 기술한다.
• 홉필드 네트워크와 볼츠만 기반 기계에서 시작해 제한 동질성 막대기(RBM)와 딥 베이즈 네트워크(DBN)로 이르는 생성 모델의 발전을 서술한다.
• 순차적 데이터 처리를 위한 시간 지연 신경망, RNN, 장기 단기 기억(LSTM) 네트워크 등의 순환 모델을 소개한다.
• 효율적인 RBM 학습을 위해 대비 분산을 적용하고, 생성 모델을 분류 작업에 적합하도록 피니튜닝하는 방법을 사용한다.

실험 결과

연구 질문

• RQ1 초기 연결주의 이론과 인공 신경망은 현대 딥 러닝의 기초를 어떻게 마련했는가?
• RQ2 CNN과 오토에인코드어와 같은 깊이 있는 분류 모델의 부상에 기여한 핵심 아키텍처 및 최적화 혁신은 무엇인가?
• RQ3 홉필드 네트워크에서 RBM과 딥 베이즈 네트워크로 이르는 생성 모델의 발전 과정은 어떻게 이루어졌으며, 표현력과 계산 복잡도 사이의 상충 관계는 어떤가?
• RQ4 RNN과 LSTM은 순차적 데이터를 효과적으로 모델링하기 위해 어떤 메커니즘을 사용했고, 이러한 모델의 깊이 있는 변형은 어떻게 구성되는가?
• RQ5 적대적 공격에 취약하고, 미세한 변형에 대해 일반화 능력이 떨어지는 등의 근본적인 한계는 딥 네트워크의 내성과 신뢰성에 어떤 도전을 가하는가?

주요 결과

• 딥 러닝 모델은 초기 퍼셉트론 기반 네트워크에서 역전파, 오토에인코드어, 합성곱 아키텍처 등의 혁신을 통해 다양한 과제에서 최고 성능을 달성하게 되었다.
• 스택드 오토에인코드어와 프리트레이닝은 계층별로 가중치를 초기화함으로써 더 깊은 네트워크를 가능하게 하여 최적화 및 일반화 능력을 향상시켰다.
• 합성곱 신경망은 局소 연결성과 가중치 공유를 활용해 시각 과제에서 높은 성능을 내었으며, 드롭아웃과 마스톡 등 기법이 강건성을 향상시켰다.
• 제한 동질성 막대기(RBM)와 딥 베이즈 네트워크(DBN)는 비지도 사전 학습을 위한 강력한 프레임워크를 제공하여 효과적인 깊이 있는 생성 모델링을 가능하게 하였다.
• LSTM 네트워크는 가중치 메모리 유닛을 통해 RNN의 기울기 소실 문제를 해결하여 장기적 의존성을 효과적으로 학습할 수 있게 하였다.
• 강력한 성능에도 불구하고 딥 네트워크는 심각한 결함을 보이며, 눈에 띄지 않는 픽셀 변형이 가해진 이미지를 잘못 분류하거나, 랜덤 노이즈를 99.6% 이상의 확신으로 익숙한 객체로 오인할 수 있다.