[논문 리뷰] Inductive Transfer for Neural Architecture Optimization

Martin Wistuba, Tejaswini Pedapati|arXiv (Cornell University)|2019. 03. 08.

Neural Networks and Applications참고 문헌 41인용 수 6

한 줄 요약

이 논문은 신경망 아키텍처 탐색을 가속화하기 위해 유도 전이 기반의 두 가지 방법을 제안한다: 이전 데이터셋에서 전이된 지식을 사용해 더 빠르게 아키텍처를 선택하는 IT-NAS와, 다중 데이터셋 간 전이를 통해 학습 곡선 외삽을 향상시키는 IT-LCE. 이 방법은 CIFAR-10과 CIFAR-100에서 8시간 이내에 최신 기술 수준의 성능을 달성하며, 조기 정지 덕분에 16배의 속도 향상과 약 350 GPU 시간의 절감을 이룬다.

ABSTRACT

The recent advent of automated neural network architecture search led to several methods that outperform state-of-the-art human-designed architectures. However, these approaches are computationally expensive, in extreme cases consuming GPU years. We propose two novel methods which aim to expedite this optimization problem by transferring knowledge acquired from previous tasks to new ones. First, we propose a novel neural architecture selection method which employs this knowledge to identify strong and weak characteristics of neural architectures across datasets. Thus, these characteristics do not need to be rediscovered in every search, a strong weakness of current state-of-the-art searches. Second, we propose a method for learning curve extrapolation to determine if a training process can be terminated early. In contrast to existing work, we propose to learn from learning curves of architectures trained on other datasets to improve the prediction accuracy for novel datasets. On five different image classification benchmarks, we empirically demonstrate that both of our orthogonal contributions independently lead to an acceleration, without any significant loss in accuracy.

연구 동기 및 목표

• 현재 수천 개의 GPU 시간이 소요되는 신경망 아키텍처 탐색의 계산 비용을 줄이기 위해.
• 모든 새로운 데이터셋에서 다시 시작해 아키텍처 특성을 재발견하는 데에 비효율적인 기존 방법의 문제를 해결하기 위해.
• 이전 데이터셋에서의 지식 전이를 통해 학습 곡선 외삽 정확도를 향상시켜 광범위한 훈련 데이터에 대한 의존도를 줄이기 위해.
• 메타지식 전이와 조기 정지를 통해 더 빠르고 효율적인 아키텍처 탐색을 가능하게 하기 위해.
• 유도 전이가 성능을 희생시키지 않고 자동화된 신경망 아키텍처 최적화를 크게 가속화할 수 있음을 입증하기 위해.

제안 방법

• 기존 메타지식(예: 아키텍처 구조 및 학습 곡선)에서 잠재 표현을 추출하기 위해 예측 베이지안 모델을 사용하여 신경망 아키텍처 선택 문제를 전이 학습 문제로 공식화한다.
• 학습된 잠재 표현을 사용해 새로운 데이터셋에서의 아키텍처 선택을 안내하여 중복 탐색을 방지한다.
• 다양한 소스 데이터셋의 학습 곡선을 활용해 새로운 데이터셋에서의 성능을 최소한의 관측된 에포크 수로 예측하는 베이지안 전이 학습 기반의 학습 곡선 외삽 방법(IT-LCE)을 제안한다.
• 외삽된 성능에 기반해 네트워크 훈련을 조기에 종료할지 예측함으로써 훈련 시간을 줄인다.
• 고정된 아키텍처 평가 순서를 사용하고, 조기 정지 결정 이전에 최소 30 에포크를 보장함으로써 조기 종료를 방지한다.
• 아키텍처 선택을 위한 지식 전이와 조기 정지를 위한 전이 강화된 학습 곡선 예측을 통합한 통합 프레임워크(IT-NAS)에 두 방법을 통합한다.

실험 결과

연구 질문

• RQ1 이전 데이터셋에서의 지식을 재사용함으로써 유도 전이를 사용해 신경망 아키텍처 탐색을 가속화할 수 있는가?
• RQ2 동일한 데이터셋의 데이터에 의존하는 것보다, 다양한 데이터셋 간 지식 전이를 통해 학습 곡선 외삽을 향상시킬 수 있는가?
• RQ3 아키텍처 선택을 위한 유도 전이와 전이 강화된 학습 곡선 예측을 결합하면 수렴 속도가 빨라지고 정확도 손실가 최소화되는가?
• RQ4 전이된 학습 곡선에 기반한 조기 정지는 최종 모델 성능을 떨어뜨리지 않으면서도 훈련 시간을 크게 줄일 수 있는가?
• RQ5 제안된 방법은 정확도와 검색 효율성 측면에서 최신 기술 수준의 NAS 접근법과 경쟁하거나 슈퍼어리어하는가?

주요 결과

• 제안된 IT-NAS 방법은 CIFAR-10과 CIFAR-100에서 8시간 미만의 검색 시간으로 최신 기술 수준의 정확도를 달성하며, ENAS 및 기타 베이스라인을 능가한다.
• IT-LCE는 학습 곡선 외삽을 위한 유도 전이를 처음으로 사용한 방법으로, 새로운 데이터셋에서 몇 에포크만 관측해도 정확한 예측이 가능하다.
• 5개의 이미지 분류 벤치마크에서 IT-NAS와 IT-LCE를 통한 조기 정합의 조합은 총 검색 시간을 16배 줄였으며, 평균적으로 350 GPU 시간을 절감했다.
• 조기 정지 없이 무작위 탐색과 비교해 정확도 손실가 극히 미미하며, 모든 데이터셋에서 성능 저하가 없었다.
• 후보 아키텍처 공간이 작아졌을 경우에도 메타지식 전이가 공간 크기의 감소를 상쇄하여 강건한 성능을 유지한다.
• 메타지식 생성의 계산 비용(1,866 GPU 시간)은 한 번의 투자이며 장기적으로 큰 절감 효과를 가져오며, 연구자 및 AutoML 서비스 간 공유가 가능하다.