[논문 리뷰] Neural Taylor Approximations: Convergence and Exploration in Rectifier Networks

David Balduzzi, Brian McWilliams외 1명|arXiv (Cornell University)|2016. 11. 07.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

이 논문은 히든 레이어의 출력에 대한 일阶 테일러 전개인 신경망 테일러 근사법을 도입하여 리커트형 네트워크에서 최적화를 분석한다. 현대적인 컨볼루션 네트워크에 대해 최초로 수렴 보장을 증명하며, 1/√N 속도로 테일러 최적해에 수렴함을 보이며, 비연속 함수에 대한 알려진 하한값과 일치한다. 또한 적응형 최적화기의 성공을 활성화 구성 탐색 능력 향상과 연결한다.

ABSTRACT

Modern convolutional networks, incorporating rectifiers and max-pooling, are neither smooth nor convex; standard guarantees therefore do not apply. Nevertheless, methods from convex optimization such as gradient descent and Adam are widely used as building blocks for deep learning algorithms. This paper provides the first convergence guarantee applicable to modern convnets, which furthermore matches a lower bound for convex nonsmooth functions. The key technical tool is the neural Taylor approximation -- a straightforward application of Taylor expansions to neural networks -- and the associated Taylor loss. Experiments on a range of optimizers, layers, and tasks provide evidence that the analysis accurately captures the dynamics of neural optimization. The second half of the paper applies the Taylor approximation to isolate the main difficulty in training rectifier nets -- that gradients are shattered -- and investigates the hypothesis that, by exploring the space of activation configurations more thoroughly, adaptive optimizers such as RMSProp and Adam are able to converge to better solutions.

연구 동기 및 목표

• 리커트형 활성화를 갖는 현대적인 컨볼루션 신경망(convnets)에 대해 수렴 보장이 부족한 문제를 해결하기 위해.
• 비연속 기울기에도 불구하고 Adam 및 RMSProp과 같은 적응형 최적화기가 표준 SGD보다 리커트형 네트워크 학습에서 더 우수한 성능을 내는 이유를 분석하기 위해.
• 기울기 파손(gradient shattering)이 리커트형 네트워크에서 최적화의 핵심 과제로 작용하는 방식을 정형화하기 위해.
• 비연속, 비볼록 딥 러닝 최적화 환경에서 활성화 구성 탐색이 수렴과 일반화에 미치는 영향을 조사하기 위해.

제안 방법

• 입력에 대해 네트워크 출력의 일계 테일러 전개로 신경망 테일러 근사법을 도입하며, 네트워크를 조각별 선형(PL) 함수로 간주한다.
• 테일러 손실을 정의하며, 이는 네트워크 출력에 대해 볼록이므로 온라인 볼록 최적화 이론의 적용이 가능하다.
• 온라인 볼록 최적화 프레임워크(Zinkevich, 2003)를 적용하여, 수렴 속도가 1/√N로 테일러 최적해에 수렴함을 증명하며, 이는 비연속 볼록 함수에 대해 알려진 하한값과 일치한다(Bubeck, 2015).
• 활성화 구성, 허밍 거리, 활성화 전환 수, 뉴런 반응 행렬의 특이값 분석을 통해 최적화기 간 탐색 행동을 정량화한다.
• 테일러 손실이 고정된 활성화 패턴(즉, 어떤 뉴런이 켜졌는지/꺼졌는지)으로 정의된 손실 곡면의 매끄러운 영역과 관련이 있으며, 최적화를 이러한 영역 간 이동으로 간주한다.
• 적응형 최적화기인 RMSProp과 Adam이 높은 꺾임 밀도를 가진 초기 레이어에서 활성화 구성 탐색을 강화함으로써 더 우수한 성능을 내는 것으로 제안한다.

실험 결과

연구 질문

• RQ1 리커트형 기반 현대 컨볼루션 네트워크가 비연속적이며 비볼록일 경우에도 수렴 보장을 확보할 수 있는가?
• RQ2 리커트형 비선형성으로 인한 기울기의 불연속성(기울기 파손)이 딥 네트워크 최적화를 얼마나 방해하는가?
• RQ3 다양한 활성화 구성(즉, 뉴런 켜짐/꺼짐 패턴) 탐색이 리커트형 네트워크에서 수렴과 일반화에 어떤 영향을 미치는가?
• RQ4 이론적으로 비연속 설정에서 제약이 있는 바에도 불구하고, RMSProp과 Adam이 리커트형 네트워크 학습에서 SGD를 초월하는 이유는 무엇인가?
• RQ5 테일러 근사 프레임워크를 사용해 비볼록, 비연속 딥 러닝 최적화의 탐색을 정량화하고 향상시킬 수 있는가?

주요 결과

• 이 논문은 리커트형 기반 현대 컨볼루션 네트워크에 대해 최초로 수렴 보장을 확립하며, 최적화가 1/√N 속도로 테일러 최적해에 수렴함을 증명하며, 이는 비연속 볼록 함수에 대한 이론적 하한값과 일치한다.
• 실증 결과로, 누적 손실과 최적 테일러 손실의 차이인 위험도(레그레트)가 실질적으로 1/√N 비례로 증가함을 보이며, 이는 이론적 분석을 검증한다.
• RMSProp은 SGD보다 MNIST 오토인코더에서 유의미하게 낮은 테스트 손실을 기록하며, 활성화 전환 빈도가 높고 활성화 구성 간 허밍 거리가 더 크므로 더 광범위한 탐색을 수행함을 시사한다.
• Adam은 오토인코더에서 가장 우수한 성능을 보였지만, 활성화 전환 수와 허밍 거리 측면에선 RMSProp보다 탐색 범위가 작아, 모멘텀이 넓은 탐색이 아닌 타겟팅된 탐색을 가능하게 한다는 것을 시사한다.
• 뉴런 활성화 패턴의 특이값 분석 결과, 가장 탐색적일 것으로 보이는 뉴런(크기 기준 상위 40개)이 RMSProp의 행동과 일치함을 확인하여, RMSProp이 매끄러운 영역을 더 효과적으로 탐색한다는 가설을 뒷받침한다.
• 결과적으로, 적응형 최적화기의 리커트형 네트워크에서의 성공은 곡률 근사가 아니라 활성화 구성 탐색 능력 향상 덕분이며, 특히 꺾임 밀도가 높은 초기 레이어에서 두드러진다.