[논문 리뷰] Instant Learning: Parallel Deep Neural Networks and Convolutional Bootstrapping

Andrew Simpson|arXiv (Cornell University)|2015. 05. 22.

Advanced Neural Network Applications참고 문헌 10인용 수 5

한 줄 요약

이 논문은 병렬화된 딥 네트워크 프레임워크와 컨볼루션 부트스트랩 기법을 결합하여, 막대한 병렬 처리 능력과 국소적 솔루션 공간 샘플링을 활용해 즉각적인 학습을 가능하게 하는 새로운 병렬 딥 네트워크(DNN) 프레임워크를 제안한다. 여러 DNN 복제본을 동시에 학습시키고 컨볼루션 부트스트랩 메커니즘을 적용함으로써, 단 한 번의 학습 반복 후에도 기존의 완전히 학습된 전통적 DNN와 유사한 성능을 달성하며, 수렴 속도를 크게 향상시키고 강인성을 향상시킨다.

ABSTRACT

Although deep neural networks (DNN) are able to scale with direct advances in computational power (e.g., memory and processing speed), they are not well suited to exploit the recent trends for parallel architectures. In particular, gradient descent is a sequential process and the resulting serial dependencies mean that DNN training cannot be parallelized effectively. Here, we show that a DNN may be replicated over a massive parallel architecture and used to provide a cumulative sampling of local solution space which results in rapid and robust learning. We introduce a complimentary convolutional bootstrapping approach that enhances performance of the parallel architecture further. Our parallelized convolutional bootstrapping DNN out-performs an identical fully-trained traditional DNN after only a single iteration of training.

연구 동기 및 목표

• 현대 병렬 아키텍처에서 스케일링에 제약을 주는 딥 네트워크의 기존 경사 하강법의 본질적 순차성 문제를 해결하기 위해.
• 다중 네트워크 복제본을 통한 막대한 병렬 처리를 활용해 DNN의 빠르고 강인한 학습을 가능하게 하기 위해.
• 병렬 프레임워크 내에서 학습 효율성과 성능을 향상시키는 컨볼루션 부트스트랩 메커니즘을 도입하기 위해.
• 단 한 번의 학습 반복 후에도 부트스트랩 기반 병렬 DNN가 완전히 학습된 전통적 DNN를 능가하는 성능을 달성함을 보여주기 위해.

제안 방법

• 마스터 병렬 아키텍처에 딥 네트워크를 복제하여 다수의 네트워크 인스턴스를 동시에 학습시킬 수 있도록 하기 위해.
• 각 네트워크 복제본이 국소적 솔루션 공간을 샘플링하고, 이를 집계하여 글로벌 최적화를 이끄는 데 사용하기 위해.
• 다중 복제본의 특징 맵을 공간 컨볼루션을 사용해 융합하는 컨볼루션 부트스트랩 레이어를 구현하여 표현 학습을 향상시키기 위해.
• 복제본 간에 병렬로 경사 하강법을 적용하면서도, 부트스트랩 레이어를 통해 동기화를 유지하여 중복을 줄이고 수렴성을 향상시키기 위해.
• 모든 복제본의 누적 출력을 활용해 반복이 진행될수록 진화하는 동적 모델을 구성하기 위해.
• 부트스트랩 메커니즘을 네트워크의 특징 맵에 잔차 유사 업데이트로 통합하여 고수준 패턴의 빠른 전파를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 표준 경사 하강법의 순차적 성격에도 불구하고, 딥 네트워크는 효과적으로 병렬화될 수 있는가?
• RQ2 다중 DNN 복제본 간의 국소적 솔루션 공간 샘플링이 수렴 속도를 가속화하고 일반화 성능을 향상시킬 수 있는가?
• RQ3 단순 앙상블 평균화를 초월해, 컨볼루션 부트스트랩 메커니즘이 병렬 DNN 프레임워크 내에서 성능 향상에 기여할 수 있는가?
• RQ4 제안된 방법은 단 한 번의 학습 반복 후에도 완전히 학습된 DNN와 유사한 성능을 달성하는가?
• RQ5 병렬 처리와 컨볼루션 부트스트랩의 조합이 강인성과 학습 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 병렬 DNN와 컨볼루션 부트스트랩 기법은 단 한 번의 학습 반복 후에도 동일한 크기의 완전히 학습된 전통적 DNN를 능가하는 성능을 달성한다.
• 막대한 병렬 처리 능력을 활용하고 순차적 최적화에 의존하는 것을 줄임으로써 학습 속도를 크게 향상시킨다.
• 컨볼루션 부트스트랩 메커니즘이 다수의 복제본에서 온 정보를 효과적으로 융합하여 빠른 수렴과 향상된 특징 표현을 이끌어낸다.
• 솔루션 공간의 누적적 샘플링 덕분에 초기화 및 하이퍼파라미터 변화에 대해 강인성을 보인다.
• 성능 향상은 병렬 학습과 부트스트랩 레이어가 고수준 패턴을 효율적으로 전파할 수 있는 능력 간의 상호보완적 상호작용에서 기인한다.
• 결과적으로, 부트스트랩 기반 병렬 DNN는 최소한의 학습 시간으로 최신 기술 수준의 성능를 달성할 수 있으며, 완전한 학습 루프의 필요성을 의심스럽게 만든다.