[논문 리뷰] Automated Architecture Design for Deep Neural Networks

Steven Abreu|arXiv (Cornell University)|2019. 08. 22.

Advanced Neural Network Applications참고 문헌 55인용 수 27

한 줄 요약

이 학위논문은 깊이 있는 순환형 신경망에서 수동적 설계의 노력과 모델 복잡성을 줄이기 위해 진화적 탐색과 구성적 동적 학습(앞으로 생각하기)을 사용한 자동화된 신경망 아키텍처 설계를 제안한다. 진화적 탐색과 앞서 생각하기 방법이 수동 설계에 비해 더 적은 파라미터와 더 빠른 학습으로 경쟁 가능한 성능을 달성함을 입증하며, 앞서 생각하기를 통해 5x750 아키텍처로 테스트 정확도 96.38%에 도달하였다.

ABSTRACT

Machine learning has made tremendous progress in recent years and received large amounts of public attention. Though we are still far from designing a full artificially intelligent agent, machine learning has brought us many applications in which computers solve human learning tasks remarkably well. Much of this progress comes from a recent trend within machine learning, called deep learning. Deep learning models are responsible for many state-of-the-art applications of machine learning. Despite their success, deep learning models are hard to train, very difficult to understand, and often times so complex that training is only possible on very large GPU clusters. Lots of work has been done on enabling neural networks to learn efficiently. However, the design and architecture of such neural networks is often done manually through trial and error and expert knowledge. This thesis inspects different approaches, existing and novel, to automate the design of deep feedforward neural networks in an attempt to create less complex models with good performance that take away the burden of deciding on an architecture and make it more efficient to design and train such deep networks.

연구 동기 및 목표

• 깊이 있는 순환형 신경망 아키텍처 설계의 수동적, 시행착오적인 과정을 줄이기 위해.
• 특히 진화적 탐색과 구성적 동적 학습과 같은 자동화된 방법을 통해 효율적이고 높은 성능을 내는 아키텍처를 생성하는 것을 탐색하기 위해.
• 수동 설계된 네트워크와 비교했을 때 자동화된 방법이 더 낮은 복잡성과 학습 시간으로도 동일하거나 더 높은 성능을 내는지 평가하기 위해.
• 구성적 동적 학습 방법 중 하나인 앞서 생각하기의 효과성을 계층적으로 단계별로 네트워크 아키텍처를 자동으로 구축하는 데서 조사하기 위해.

제안 방법

• 검증 정확도를 기반으로 선택, 교차, 변이를 통해 아키텍처 집단을 진화시켜 아키텍처를 탐색하기 위해 진화적 탐색을 활용하였다.
• 앞서 생각하기는 잔차 오차를 기반으로 새로운 은닉 유닛을 점진적으로 추가함으로써 일반화 성능을 향상시키는 구성적 동적 학습 방법을 구현하였다.
• 모든 모델의 학습을 위해 미니배치 확률적 경사하강법과 RMSProp 최적화(학습률 η=0.001, 운동량 γ=0.9)를 사용하였다.
• MNIST 벤치마크에서 교차 엔트로피 손실과 정확도를 사용해 아키텍처를 평가하였으며, 활성화 함수로 ReLU, tanh, softmax를 사용하였다.
• 테스트 정확도, 학습 시간, 파라미터 수를 기준으로 수동 설계, 무작위, 진화적 탐색, 앞서 생각하기 방법 간 성능을 비교하였다.
• 조기 정지 기법을 적용하고 모든 실험에서 일관된 학습을 위해 고정된 미니배치 크기 128을 사용하였다.

실험 결과

연구 질문

• RQ1 진화적 탐색은 수동 설계 없이도 좋은 일반화 성능을 보이는 깊이 있는 순환형 신경망 아키텍처를 효과적으로 발견할 수 있는가?
• RQ2 구성적 동적 학습 방법인 앞서 생각하기는 전통적인 역전파 학습에 비해 정확도와 학습 효율성 측면에서 어떻게 비교되는가?
• RQ3 자동화된 아키텍처 탐색 방법을 사용할 경우 모델 복잡성(파라미터 수)과 성능 사이의 상호 교환 관계는 어떠한가?
• RQ4 자동화된 아키텍처 설계는 테스트 정확도를 유지하거나 향상시키면서도 학습 시간과 자원 요구량을 줄일 수 있는가?

주요 결과

• 진화적 탐색은 50 에포크 후 5x750 아키텍처로 96.38%의 테스트 정확도를 달성하였으며, 학습에 266.9초가 소요되었다.
• 앞서 생각하기 방법은 5x750 아키텍처로 97.67%의 학습 정확도와 96.38%의 테스트 정확도를 기록하여 표준 역전파 학습보다 일반화 성능이 뛰어났다.
• 앞서 생각하기를 사용한 2x512 아키텍처는 92.3초 만에 학습되었고, 테스트 정확도는 97.42%였으며, 수동 설계보다 더 빠른 수렴을 보였다.
• 앞서 생각하기를 통한 구성적 동적 학습은 수동 아키텍처 튜닝의 필요성을 줄였고, 더 적은 파라미터와 더 나은 일반화 성능을 가진 모델을 생성하였다.
• 진화적 탐색과 앞서 생각하기 모두 높은 테스트 정확도(최대 97.67%)를 달성하면서도 대규모 과도한 파rameter화된 아키텍처에 의존하는 것을 줄였다.
• 자동 탐색과 구성적 학습의 조합은 특히 초기 학습 단계에서 수동 설계에 비해 더 빠른 학습과 향상된 성능을 이끌어냈다.