[논문 리뷰] My First Deep Learning System of 1991 + Deep Learning Timeline 1962-2013

Jürgen Schmidhuber|arXiv (Cornell University)|2013. 12. 19.

Anomaly Detection Techniques and Applications참고 문헌 79인용 수 7

한 줄 요약

이 논문은 1991년에 개발된 저자 자신의 첫 번째 딥 러닝 시스템을 제시한다. 이는 수백 개의 레이어를 넘나들며 효과적인 크레딧 할당을 가능하게 하기 위해 비지도 학습 방식으로 사전 훈련된 순환 신경망(RNN)의 깊은 스택으로 구성되어 있으며, 기울기 소실 문제를 극복한다. 이 접근법은 2009년까지 국제적인 패턴 인식 대회에서 첫 번째 성공적인 딥 러닝 시스템으로서의 승리를 거머쥐었고, 2011년에는 초인간 수준의 성능을 달성했으며, 2013년까지 객체 검출 및 이미지 세그멘테이션 분야에서 지속적인 우위를 점했다.

ABSTRACT

Deep Learning has attracted significant attention in recent years. Here I present a brief overview of my first Deep Learner of 1991, and its historic context, with a timeline of Deep Learning highlights.

연구 동기 및 목표

• 1991년에 개발된 첫 번째 딥 러닝 시스템에 대한 역사적 기여를 기록하고 확립하는 것. 기술적 혁신과 장기적 영향을 강조한다.
• 특히 1991년에 규명된 기울기 소실/폭발 문제를 고려할 때, 깊은 신경망에서의 크레딧 할당 문제를 해결하는 데 있어 근본적인 과제를 다루는 것.
• 1962년부터 2013년까지의 딥 러닝 주요 성과 기록을 종합적으로 정리하여 핵심 돌풍과 그 연대적 배경을 부각하는 것.
• 비지도 사전 훈련과 계층적 시간 기억의 지속적인 관련성에 대한 증거를 제시함으로써, GPU 기반 백프로파게이션의 도입 이후에도 이러한 기법이 딥 러닝에서 여전히 중요한 역할을 했음을 보여주는 것.

제안 방법

• 순차적 데이터의 계층적 압축을 가능하게 하기 위해, 다음 입력을 예측하는 방식으로 비지도 학습된 순환 신경망(RNN)의 깊은 스택을 사용하였다.
• 하위 레벨 RNN의 오차 신호를 상위 레벨 RNN의 입력으로 사용하여, 정보를 레이어 간에 유지하고 압축하는 자기조직화된 시간 척도를 구축하였다.
• 하위 레벨 RNN을 고위 레벨 RNN의 은닉 유닛을 모방하도록 재학습시키는 기법을 구현하여 장기 기억 형성과 장거리 시간 간격을 메우는 데 기여하였다.
• 다중 컬럼 아키텍처(MCMPCNN)에서 가중치 공유 컨볼루션 레이어와 맥스 풀링을 사용한 백프로파게이션을 적용하여 GPU에서 효율적인 이미지 인식을 수행하였다.
• 손글씨 및 음성 인식과 같은 순서 인식 작업을 위해 스택드된 양방향 LSTM RNN을 학습하기 위해 커넥티스트 시간 분류(CTC)를 적용하였다.
• GPU 가속을 활용하여 백프로파게이션과 데이터 증강(예: 패턴 왜곡)을 적용한 딥 프eed포워드 네트워크를 훈련시켜, 비지도 사전 훈련 없이도 최첨단 성능을 달성하였다.

실험 결과

연구 질문

• RQ1 현대 하드웨어의 광범위한 사용 이전에, 백프로파게이션의 광범위한 사용 이전에, 비선형 레이어가 수백 개에 이르는 깊은 신경망에서 효과적인 크레딧 할당은 어떻게 달성되었는가?
• RQ2 2009년 이전에, 반복 신경망과 프리패스 신경망에서 기울기 소실 문제를 극복하기 위해 비지도 사전 훈련이 어떤 역할을 했는가?
• RQ3 어떤 특정 아키텍처 혁신이 2011년까지 시각적 패턴 인식에서 초인간 수준의 성능을 달성하는 데 첫 번째 딥 러닝 시스템을 가능하게 했는가?
• RQ4 비지도 사전 훈련에서 GPU 기반 엔드 투 엔드 백프로파게이션으로의 전환은 딥 러닝 시스템의 성능과 확장성에 어떤 영향을 미쳤는가?
• RQ5 2009년에서 2013년 사이에 제한된 국제 대회에서, 딥 러닝 시스템이 인간 전문가와 비신경망 방법을 모두 압도한 증거는 무엇이 있는가?

주요 결과

• 1991년에 개발된 비지도 사전 훈련된 RNN 스택 기반의 딥 러닝 시스템은 1200개의 타임스텝에 걸쳐 크레딧 할당을 성공적으로 수행하여, 순환 아키텍처를 사용한 딥 러닝의 가능성을 입증했다.
• 2009년까지, LSTM 기반의 딥 러닝 시스템은 ICDAR 2009 대회에서 세 가지 언어의 연결된 손글씨 인식 대회에서 승리를 거머쥐었으며, 이는 국제 대회에서 어떤 딥 러닝 시스템의 공식 승리이기도 하다.
• 2011년, GPU 기반의 다중 컬럼 최대 풀링 CNN(MCMPCNN)은 교통 표지 인식에서 초인간 수준의 성능을 달성하여 인간의 성능을 두 배로 뛰어넘었고, 다음으로 우수한 신경망 성능의 세 배를 기록했다.
• 2012년, 동일한 MCMPCNN 아키텍처는 유방암 조직 학적 영상에서 미토시스 검출을 위한 ICPR 2012 대회와 신경세포 구조 세그멘테이션을 위한 ISBI 2012 도전 대회에서 승리를 거머쥐었으며, 이는 딥 러닝이 객체 검출과 이미지 세그멘테이션 분야에서 첫 번째 승리를 거둔 것이다.
• 2013년까지, 딥 LSTM RNN은 TIMIT 음소 인식 신뢰도 기록을 새로이 수립했고, GPU-MCMPCNN는 ImageNet과 PASCAL 객체 검출에서 새로운 벤치마크를 설정하여 컴퓨터 비전 및 음성 인식 분야에서 지속적인 우위를 확보했다.
• 논문은 '딥 러닝'이라는 용어가 약 2006년에 처음 사용되었지만, 그 기초가 되는 연구—특히 비지도 사전 훈련과 계층적 시간 기억—은 1991년으로 거슬러 올라가며, 현대 딥 러닝 시대 이전에 작동하는 첫 번째 딥 러닝 시스템이 존재함을 입증한다.