[论文解读] Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data

Felipe Petroski Such, Aditya Rawal+3 more|arXiv (Cornell University)|Dec 17, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用 48

一句话总结

GTNs 学习通过元梯度生成合成训练数据和课程表，从而加速学习并通过使用 GTN 产生的数据来评估架构，实现更快的 NAS。GTN-NAS 在显著降低计算量的情况下实现了具有竞争力的最先进结果。

ABSTRACT

This paper investigates the intriguing question of whether we can create learning algorithms that automatically generate training data, learning environments, and curricula in order to help AI agents rapidly learn. We show that such algorithms are possible via Generative Teaching Networks (GTNs), a general approach that is, in theory, applicable to supervised, unsupervised, and reinforcement learning, although our experiments only focus on the supervised case. GTNs are deep neural networks that generate data and/or training environments that a learner (e.g. a freshly initialized neural network) trains on for a few SGD steps before being tested on a target task. We then differentiate through the entire learning process via meta-gradients to update the GTN parameters to improve performance on the target task. GTNs have the beneficial property that they can theoretically generate any type of data or training environment, making their potential impact large. This paper introduces GTNs, discusses their potential, and showcases that they can substantially accelerate learning. We also demonstrate a practical and exciting application of GTNs: accelerating the evaluation of candidate architectures for neural architecture search (NAS), which is rate-limited by such evaluations, enabling massive speed-ups in NAS. GTN-NAS improves the NAS state of the art, finding higher performing architectures when controlling for the search proposal mechanism. GTN-NAS also is competitive with the overall state of the art approaches, which achieve top performance while using orders of magnitude less computation than typical NAS methods. Speculating forward, GTNs may represent a first step toward the ambitious goal of algorithms that generate their own training data and, in doing so, open a variety of interesting new research questions and directions.

研究动机与目标

• 研究数据生成网络是否能生成对学习者高效有用的合成数据。
• 开发带有内部学习者训练和外部生成器优化的元学习框架（GTN）。
• 证明 GTN 生成的数据在真实数据基线下可以加速神经架构搜索（NAS）。
• 展示 GTN 训练的稳定性改进和课程学习的优势。
• 将 GTN 应用于 CIFAR10 NAS 以证明加速且具竞争力的架构搜索。

提出的方法

• 两层嵌套训练循环：内部循环在 GTN 生成的数据上训练学习者；外部循环更新 GTN 以最大化学习者在真实数据上的表现。
• 生成器 G(z,y) 使用高斯噪声 z 和标签 y 生成合成数据 x；学习者在固定的内部步数内使用 SGD 或 Adam 进行训练。
• 外部循环的元目标在真实数据上评估学习者，并通过内部循环反向传播更新 GTN 参数；内部循环优化器的超参数也会被学习。
• 对权重进行归一化以稳定元梯度训练，将权重参数化为 W=g·V/||V||，以更新 g 和 V 而非 W。
• 通过学习输入 z 的编码或固定输入样本来实现课程学习，使 GTN 能控制数据生成和呈现顺序（完整课程优于其他）。
• 基于 GTN 的数据用于加速 NAS，在架构评估阶段用 GTN 数据替代真实数据，从而实现对 CIFAR10 架构的更快代理评估。

实验结果

研究问题

• RQ1 一个神经网络生成器是否可以学习产生合成数据，从而在不同学习者架构和初始化条件下加速学习？
• RQ2 学习得到的课程是否比纯随机数据生成更能提升 GTN 的有效性？
• RQ3 GTN 生成的数据是否能够显著降低 NAS 评估成本，同时保持或提升架构质量？
• RQ4 哪些稳定性技术（如权重归一化）能够改善 GTN 的元梯度训练？
• RQ5 GTN 生成的数据在 NAS 搜索空间和代理评估上的泛化程度如何？

主要发现

• GTNs 产生的合成数据能够加速学习，在少数步数上取得比真实数据或数据集蒸馏基线更好的准确度。
• 权重归一化显著提高元梯度 GTN 训练的稳定性和鲁棒性。
• 完整的 GTN 课程（学习样本顺序与组成）优于其他课程变体。
• GTN 基于数据加速了 MNIST 和 CIFAR10 的少步学习，并实现高效的 NAS 代理评估，与真实数据性能相关。
• 在 CIFAR10 NAS 中，GTN 评估比真实数据评估速度提升约 9 倍，并在结合 Cutout 增强时达到具有竞争力或更优的结果。
• GTN 基代理在所测试的搜索设置中达到最先进的结果，并在顶层架构的真实性能相关性方面显示出改进。