[논문 리뷰] AutoGrow: Automatic Layer Growing in Deep Convolutional Networks

Wei Wen, Feng Yan외 2명|arXiv (Cornell University)|2019. 06. 07.

Advanced Neural Network Applications참고 문헌 43인용 수 7

한 줄 요약

AutoGrow는 안정적인 성장 및 정지 정책을 사용하여 얕은 초기 아키텍처에서 반복적으로 계층을 증가시켜 딥 컨volution 네트워크에서 깊이를 자동으로 탐색한다. 최소한의 인간 참여로 MNIST, CIFAR, ImageNet에서 near-optimal 정확도-계산 트레이드오프를 달성하며, 인간이 설계한 ResNet보다 뛰어나고 단일 DNN 학습 시간과 유사한 시간 내에 학습을 완료한다.

ABSTRACT

Depth is a key component of Deep Neural Networks (DNNs), however, designing depth is heuristic and requires many human efforts. We propose AutoGrow to automate depth discovery in DNNs: starting from a shallow seed architecture, AutoGrow grows new layers if the growth improves the accuracy; otherwise, stops growing and thus discovers the depth. We propose robust growing and stopping policies to generalize to different network architectures and datasets. Our experiments show that by applying the same policy to different network architectures, AutoGrow can always discover near-optimal depth on various datasets of MNIST, FashionMNIST, SVHN, CIFAR10, CIFAR100 and ImageNet. For example, in terms of accuracy-computation trade-off, AutoGrow discovers a better depth combination in ResNets than human experts. Our AutoGrow is efficient. It discovers depth within similar time of training a single DNN. Our code is available at https://github.com/wenwei202/autogrow.

연구 동기 및 목표

• 딥 네트워크의 최적 네트워크 깊이를 결정하는 수동적이고 히우리스틱적인 과정을 자동화한다.
• 다양한 데이터셋과 아키텍처에서 네트워크 깊이 설계 시 인간의 노력과 계산 비용을 줄인다.
• 최대 깊이를 사전 정의하거나 고정된 성장 위치에 의존하지 않고 near-optimal 깊이를 탐색한다.
• 대규모 데이터셋인 ImageNet과도 확장 가능한 효율적이고 스케일러블한 깊이 탐색을 가능하게 한다.
• 깊이 증식 과정에서 계층 초기화 및 학습 동역학에 대한 전통적인 가정을 도전한다.

제안 방법

• 서브모듈(예: 리스크리드 블록 등)로 구성된 얕은 초기 네트워크에서 시작하여 계층을 점진적으로 증가시킨다.
• 고정 간격(K 에포크)으로 주기적인 학습 및 평가 메커니즘을 적용하여 성장 잠재력을 평가한다.
• 네트워크 모르포시즘 기반 파라미터 전달이 아닌 무작위 초기화를 신규 계층에 적용한다.
• 얕은 네트워크의 조기 수렴을 방지하기 위해 일정한 큰 학습률과 짧은 학습 간격을 적용한다.
• 여러 간격 동안 정확도 향상이 관찰되지 않을 경우 성장을 종료하는 정책을 시행한다.
• 성장 완료 후 최종 아키텍처를 N 에포크 동안 피니어튜닝하여 성능을 개선한다.

실험 결과

연구 질문

• RQ1 사전 정의된 깊이나 성장 위치 없이 자동 깊이 탐색이 가능할 수 있는가?
• RQ2 깊이 증식 중에 무작위 초기화가 모폴로지 기반 초기화보다 우수한가?
• RQ3 얕은 네트워크 수렴 이전에 빠른 계층 증식이 수렴을 기다리는 것보다 더 효과적인가?
• RQ4 동일한 초모수를 다양한 데이터셋과 아키텍처에서 재사용하여 최적 깊이를 탐색할 수 있는가?
• RQ5 AutoGrow의 효율성과 정확도는 인간이 설계한 또는 NAS 기반의 깊이 선택과 비교해 어떻게 되는가?

주요 결과

• AutoGrow는 동일한 초모수를 사용하여 MNIST, FashionMNIST, SVHN, CIFAR10, CIFAR100, ImageNet에서 near-optimal 깊이를 탐색한다.
• ImageNet에서 AutoGrow는 인간이 설계한 ResNet-152보다 더 나은 정확도-계산 트레이드오프를 보이는 ResNet 변종을 탐색한다.
• 신규 계층의 무작위 초기화가 네트워크 모폴로지 기반 초기화와 동일하거나 더 우수한 성능을 보인다.
• 얕은 네트워크 수렴 이전에 큰 일정 학습률로 빠른 성장을 통해 수렴을 기다리는 것보다 더 나은 성능을 달성한다.
• AutoGrow의 총 학습 시간은 단일 DNN 학습 시간과 유사하여 매우 효율적이고 ImageNet과도 확장 가능하다.
• AutoGrow를 통해 학습된 최종 모델은 발견된 아키텍처를 처음부터 학습한 것보다 더 높은 정확도를 달성하여 주기적 성장의 이점이 있음을 시사한다.