[논문 리뷰] Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data

Felipe Petroski Such, Aditya Rawal외 3명|arXiv (Cornell University)|2019. 12. 17.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 48

한 줄 요약

생성적 교수 네트워크(GTN)는 메타-그래디언트를 통해 합성 학습 데이터와 커리큘럼을 생성하는 법을 학습하여 학습 속도를 높이고 GTN이 생성한 데이터로 아키텍처를 평가함으로써 NAS를 더 빠르게 수행할 수 있도록 한다. GTN-NAS는 계산량을 크게 줄이면서도 경쟁력 있는 최첨단 성능을 달성한다.

ABSTRACT

This paper investigates the intriguing question of whether we can create learning algorithms that automatically generate training data, learning environments, and curricula in order to help AI agents rapidly learn. We show that such algorithms are possible via Generative Teaching Networks (GTNs), a general approach that is, in theory, applicable to supervised, unsupervised, and reinforcement learning, although our experiments only focus on the supervised case. GTNs are deep neural networks that generate data and/or training environments that a learner (e.g. a freshly initialized neural network) trains on for a few SGD steps before being tested on a target task. We then differentiate through the entire learning process via meta-gradients to update the GTN parameters to improve performance on the target task. GTNs have the beneficial property that they can theoretically generate any type of data or training environment, making their potential impact large. This paper introduces GTNs, discusses their potential, and showcases that they can substantially accelerate learning. We also demonstrate a practical and exciting application of GTNs: accelerating the evaluation of candidate architectures for neural architecture search (NAS), which is rate-limited by such evaluations, enabling massive speed-ups in NAS. GTN-NAS improves the NAS state of the art, finding higher performing architectures when controlling for the search proposal mechanism. GTN-NAS also is competitive with the overall state of the art approaches, which achieve top performance while using orders of magnitude less computation than typical NAS methods. Speculating forward, GTNs may represent a first step toward the ambitious goal of algorithms that generate their own training data and, in doing so, open a variety of interesting new research questions and directions.

연구 동기 및 목표

• 데이터를 생성하는 네트워크가 학습자에게 효율적으로 학습시키는 합성 데이터를 생성할 수 있는지 조사한다.
• 내부 학습자 훈련과 외부 생성기 최적화를 포함하는 메타-학습 프레임워크(GTN)를 개발한다.
• GTN-생성 데이터가 실제 데이터 기준선 하에서 신경망 아키텍처 탐색(NAS)을 가속할 수 있음을 보인다.
• GTN 학습의 안정성 개선과 커리큘럼의 이점을 입증한다.
• GTN을 CIFAR10 NAS에 적용하여 가속화된 경쟁력 있는 아키텍처 탐색을 보여준다.

제안 방법

• 두 개의 중첩 학습 루프: 내부 루프는 GTN이 생성한 데이터로 학습자를 훈련시키고; 외부 루프는 학습자의 실제 데이터에 대한 성능을 최대화하도록 GTN을 업데이트한다.
• 생성기 G(z,y)는 가우시안 노이즈 z와 레이블 y로부터 합성 데이터 x를 생성한다; 학습자는 고정된 내부 스텝 수만큼 SGD나 Adam으로 훈련된다.
• 외부 루프의 메타 목적은 학습자를 실제 데이터에서 평가하고 내부 루프를 통해 역전파하여 GTN 매개변수를 업데이트한다; 내부 루프 옵티마이저의 하이퍼파라미터도 학습된다.
• 가중치 정규화는 메타그래디언트 훈련의 안정화를 위해 적용되며, W를 W=g·V/||V||로 매개화하여 W가 아닌 g와 V를 업데이트한다.
• 입력 z-코드나 고정 입력 샘플을 학습하여 커리큘럼 학습을 가능하게 하여 GTN이 데이터 생성 및 제시 순서를 제어하도록 하고(전체 커리큘럼이 다른 이들보다 우수).
• GTN 기반 데이터를 사용하여 아키텍처 평가 중 실제 데이터를 GTN 데이터로 대체함으로써 NAS를 가속하고 CIFAR-10 아키텍처에 대한 프록시 평가를 더 빨리 수행할 수 있게 한다.

실험 결과

연구 질문

• RQ1 신경망 생성기가 서로 다른 학습자 아키텍처와 초기화에 걸쳐 학습 속도를 가속하는 합성 데이터를 생성하도록 학습할 수 있는가?
• RQ2 학습된 커리큘럼이 순전히 무작위 데이터 생성보다 GTN의 효과를 향상시키는가?
• RQ3 GTN-생성 데이터가 아키텍처 품질을 유지하거나 향상시키면서 NAS 평가 비용을 현저히 감소시키는가?
• RQ4 GTN에서 메타그래디언트 훈련을 개선하는 안정화 기술(예: 가중치 정규화)은 무엇인가?
• RQ5 GTN-생성 데이터가 NAS 탐색 공간과 대리 평가에 얼마나 잘 일반화되는가?

주요 결과

• GTN은 합성 데이터를 생성하여 학습 속도를 높이고, 실제 데이터나 데이터세트 증류 기준선보다 더 나은 몇-샷 정확도를 달성한다.
• 가중치 정규화는 메타그래디언트 GTN 훈련의 안정성과 강인성을 크게 향상시킨다.
• 전체 GTN 커리큘럼(샘플 순서와 구성을 모두 학습)이 다른 커리큘럼 변형보다 우수하다.
• GTN 기반 데이터는 MNIST와 CIFAR-10의 몇-샷 학습을 가속하고 실제 데이터 성능과 상관관계가 있는 효율적인 NAS 프록시 평가를 가능하게 한다.
• CIFAR-10 NAS에서 GTN 평가의 아키텍처 평가 속도는 실제 데이터 평가에 비해 약 9배 빠르며, Cutout 증강과 결합했을 때 경쟁력 있거나 우수한 성능을 달성한다.
• GTN 기반 프록시는 테스트된 탐색 설정에서 최첨단 결과를 달성하고 상위 아키텍처의 실제 성능과의 상관관계가 향상된다.