[논문 리뷰] A Provably Correct Algorithm for Deep Learning that Actually Works

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|2018. 03. 26.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 20

한 줄 요약

이 논문은 계층적 생성 모델에 기반하여, 두 층의 네트워크에서의 기울기 업데이트와 계층별 군집화를 결합함으로써, 깊이 있는 합성곱 신경망을 훈련시키는 새로운, 증명 가능하게 수렴하는 알고리즘을 제안한다. 강력한 이론적 가정에도 불구하고, 이 방법은 CIFAR-10에서 최대 73.4%의 경쟁력 있는 정확도를 달성하며, 표준 딥러닝 '기교'를 사용하지 않은 채로도 일반적인 SGD 기반 CNN과 유사한 성능을 보인다.

ABSTRACT

We describe a layer-by-layer algorithm for training deep convolutional networks, where each step involves gradient updates for a two layer network followed by a simple clustering algorithm. Our algorithm stems from a deep generative model that generates mages level by level, where lower resolution images correspond to latent semantic classes. We analyze the convergence rate of our algorithm assuming that the data is indeed generated according to this model (as well as additional assumptions). While we do not pretend to claim that the assumptions are realistic for natural images, we do believe that they capture some true properties of real data. Furthermore, we show that our algorithm actually works in practice (on the CIFAR dataset), achieving results in the same ballpark as that of vanilla convolutional neural networks that are being trained by stochastic gradient descent. Finally, our proof techniques may be of independent interest.

연구 동기 및 목표

• 이론적으로 타당한 딥러닝 알고리즘과 실용적 성능 사이의 격차를 메우기 위해.
• 이미지 데이터의 계층적 생성 모델 하에 증명 가능하게 수렴 보장을 갖는 훈련 알고리즘을 개발하기 위해.
• 이론적 알고리즘이 실제 세계 데이터셋인 CIFAR-10에서 실용적 성능을 달성할 수 있음을 보여주기 위해.
• 클러스터링과 두 층의 네트워크 훈련의 조합이 성능에 필수적이며, 단순한 무작위 투영이 아님을 입증하기 위해.
• 이론적 분석에서 사용된 강력한 분포 가정을 위반함에도 불구하고 알고리즘이 작동함을 보여주기 위해.

제안 방법

• 알고리즘은 깊이 있는 네트워크를 계층별로 훈련시키며, 각 단계에서 두 층의 네트워크를 기울기 하강법으로 업데이트한다.
• 기울기 업데이트 후, K-means 군집화 단계에서 패치들이 중심점에 할당되어 이산 잠재 표현을 형성한다.
• 각 패치는 학습된 커널을 갖는 3x3 합성곱을 거쳐 일항 벡터로 매핑되며, 고정된 바이어스를 가진 ReLU를 적용하여 정규직교 임bedding을 근사한다.
• 표준 CNN 아키텍처와 일치시키기 위해 스트라이드 1과 2x2 최대 풀링을 적용한다.
• 임bedded 특징에 대해 Adam을 사용하여 두 층의 선형 네트워크(Conv1x1 + 완전 연결)를 분류를 위해 훈련시킨다.
• 이 과정을 두 번 반복하여 두 블록 아키텍처를 구성한 후, 전체 특징 맵에 대해 최종 분류기 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 이론적으로 증명 가능한 딥러닝 알고리즘이 실제 세계 이미지 데이터에서 실용적 성능을 달성할 수 있는가?
• RQ2 계층별로 기울기 업데이트와 군집화를 조합하는 것이 효과적인 특징 학습을 이끌어내는가?
• RQ3 두 층의 네트워크 훈련 단계가 성능에 필수적인가, 아니면 무작위 투영으로 대체될 수 있는가?
• RQ4 이론적 분석에서 사용된 강력한 분포 가정이 알고리즘의 실세계 성능에 어느 정도 영향을 미치는가?
• RQ5 일반적인 최적화 기교를 사용하지 않을 때, 표준 SGD 기반 CNNs와 비교해 성능은 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 완전 연결 분류기를 사용하여 CIFAR-10에서 테스트 정확도 73.4%를 달성했으며, SGD로 훈련된 표준 CNN과 동일한 성능을 보였다.
• 선형 분류기를 사용할 경우, 알고리즘은 여전히 기준 CNN과 유사한 68.9%의 정확도를 달성했다.
• 무작위 투영을 사용한 변형(Clustering+JL)은 오직 58.6%의 정확도를 기록하여, 두 층의 훈련 단계가 필수적임을 입증했다.
• 랜덤 가중치를 가진 CNN보다 알고리즘이 더 높은 성능(61.6% 정확도)을 보였으며, 이는 특징 학습이 필수적이며 단순한 무작위 초기화만으로는 충분하지 않음을 보여준다.
• 데이터 증강, 배치 정규화, 학습률 스케줄링 없이도 경쟁 가능한 결과를 도출하여, 이 알고리즘이 일반적인 딥러닝 '기교'의 부재에도 불구하고 강건함을 입증했다.
• 이론적 분석에서 사용된 강력한 i.i.d. 및 계층적 생성 가정을 위반함에도 불구하고 알고리즘이 실무에서 잘 작동함을 보여주며, 이러한 가정들이 실제 데이터의 핵심 구조적 특성을 잘 반영하고 있음을 시사한다.