[论文解读] AdaNet: A Scalable and Flexible Framework for Automatically Learning Ensembles

Charles Weill, Javier Gonzalvo+10 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Neural Network Applications参考文献 13被引用 13

一句话总结

AdaNet 是一个可扩展的、基于 TensorFlow 的自动化机器学习（AutoML）框架，通过迭代搜索并组合子网络，利用自适应的分布式训练自动学习高性能集成模型。在表格数据和视觉任务上，其性能达到当前最优水平，在 40.56% 的基准表格数据集上优于梯度提升树和 wide-and-deep 模型等基线方法。

ABSTRACT

AdaNet is a lightweight TensorFlow-based (Abadi et al., 2015) framework for automatically learning high-quality ensembles with minimal expert intervention. Our framework is inspired by the AdaNet algorithm (Cortes et al., 2017) which learns the structure of a neural network as an ensemble of subnetworks. We designed it to: (1) integrate with the existing TensorFlow ecosystem, (2) offer sensible default search spaces to perform well on novel datasets, (3) present a flexible API to utilize expert information when available, and (4) efficiently accelerate training with distributed CPU, GPU, and TPU hardware. The code is open-source and available at: https://github.com/tensorflow/adanet.

研究动机与目标

• 自动化构建高质量机器学习集成模型，最大限度减少人工干预。
• 与 TensorFlow 生态系统无缝集成，支持生产部署和工具兼容性。
• 在大规模数据集上实现高效、可扩展的分布式训练，支持 CPU、GPU 和 TPU。
• 支持自动化搜索与基于先验知识或预训练模型的专家引导搜索。
• 提供有原则的自适应搜索策略，通过集成学习在模型性能与复杂度之间实现平衡。

提出的方法

• AdaNet 使用一种自适应搜索策略，结合并行（类似袋装）和串行（类似提升）的集成方式，探索动态的搜索空间。
• 它使用子网络生成器在每次迭代中生成候选模型，并根据前一轮表现最佳的集成模型自适应调整其架构。
• 该框架使用自适应计算图管理动态子网络的创建以及在分布式工作节点之间的参数共享。
• 它支持两种分布式训练策略：基于参数服务器的复制模式和轮询式工作节点分配，实现与子网络数量的线性可扩展性。
• 系统使用主工作节点进行协调和检查点管理，确保在发生故障后能够容错并恢复。
• 它与 tf.estimator 集成，以兼容 TensorFlow 工具（如 Serving、Hub 和 Model Analysis），并通过正在进行的开发支持 Keras API。

实验结果

研究问题

• RQ1 一个自动化框架能否在分布式硬件上高效扩展的同时，以最少的人工干预学习到高性能的集成模型？
• RQ2 一个灵活且可扩展的 AutoML 系统如何在集成学习中平衡模型性能与复杂度？
• RQ3 自适应、迭代的子网络搜索在真实世界表格数据和视觉数据集上，与固定集成基线相比，能多大程度上实现性能超越？
• RQ4 将专家知识或预训练模型集成到自动化集成学习中，会对性能和收敛性产生何种影响？
• RQ5 一个专为分布式训练设计的框架能否在子网络和工作节点数量增加时实现线性扩展，同时保持容错能力？

主要发现

• 在超过 100 个表格数据集中，AdaNet 在 40.56% 的数据集中取得了最佳模型性能，优于梯度提升树（29.44%），且在两小时训练时间内表现优异。
• 在 CIFAR-100 数据集上，使用 NASNet-A 子网络的 AdaNet 达到了 14.58% 的测试错误率，展示了其在视觉任务上的强大性能。
• 轮询式分布式训练策略相比自定义集成基础设施，实现了更快、更具可扩展性的训练，降低了系统复杂性并提升了迭代速度。
• AdaNet 在生产环境中成功替代了一个自定义的复杂集成系统，简化了部署流程，同时保持或提升了模型质量。
• 该框架通过基于检查点的恢复机制，展示了容错能力，能够在工作节点或集群故障后自动恢复。
• 使用复杂度正则化的集成器实现了在集成损失与模型复杂度之间的有原则的权衡，与 Cortes 等人（2017）的理论保证一致。