[论文解读] Ludwig: a type-based declarative deep learning toolbox

Piero Molino, Y. O. Dudin+1 more|arXiv (Cornell University)|Sep 17, 2019

Topic Modeling参考文献 23被引用 28

一句话总结

Ludwig 是一种基于类型的声明式深度学习工具箱，通过使用数据类型感知的配置文件定义模型，使用户无需编写代码即可训练和部署模型。它采用由输入和输出数据类型抽象化的编码器-组合器-解码器（ECD）架构，支持灵活、可重用且可扩展的模型设计，同时兼顾新手和专家用户。

ABSTRACT

In this work we present Ludwig, a flexible, extensible and easy to use toolbox which allows users to train deep learning models and use them for obtaining predictions without writing code. Ludwig implements a novel approach to deep learning model building based on two main abstractions: data types and declarative configuration files. The data type abstraction allows for easier code and sub-model reuse, and the standardized interfaces imposed by this abstraction allow for encapsulation and make the code easy to extend. Declarative model definition configuration files enable inexperienced users to obtain effective models and increase the productivity of expert users. Alongside these two innovations, Ludwig introduces a general modularized deep learning architecture called Encoder-Combiner-Decoder that can be instantiated to perform a vast amount of machine learning tasks. These innovations make it possible for engineers, scientists from other fields and, in general, a much broader audience to adopt deep learning models for their tasks, concretely helping in its democratization.

研究动机与目标

• 通过使非专家用户无需编写代码即可训练和部署模型，实现深度学习的民主化。
• 通过引入声明式、基于类型的抽象，解决深度学习模型开发中的复杂性和样板代码问题。
• 通过为数据类型和模型组件定义标准化接口，提升代码重用性和可扩展性。
• 通过将最佳实践封装在模块化、可组合的架构中，简化实验和模型开发流程。
• 通过支持仅通过配置文件的声明式配置以及可选的低级别自定义，同时满足新手用户和专家用户的需求。

提出的方法

• Ludwig 引入了基于类型的抽象，其中数据类型（例如图像、文本、类别）定义了模型组件的接口和行为。
• 它采用一种通用的模块化架构，称为编码器-组合器-解码器（ECD），将数据编码、表征组合和解码以进行预测的过程分离开来。
• 通过声明式 YAML 文件定义模型配置，指定输入和输出特征、其数据类型以及组件选择（例如，为图像选择不同的编码器）。
• 系统会自动处理数据预处理、模型架构实例化和训练，抽象出底层张量操作。
• 通过将编码器和解码器视为可配置的超参数，Ludwig 支持超参数搜索和架构搜索，从而实现对模型结构的自动化搜索。
• 它基于 TensorFlow 构建，并通过自定义子模块支持可扩展性，使专家能够在保持声明式简洁性的同时插入新组件。

实验结果

研究问题

• RQ1 基于类型的声明式深度学习模型定义方法是否能显著降低非专家用户的入门门槛？
• RQ2 标准化的 ECD 架构在图像分类、文本分类和回归等多样化机器学习任务中是否具有良好的泛化能力？
• RQ3 基于类型的抽象在多大程度上提升了深度学习模型开发中的代码重用性、模块化和可扩展性？
• RQ4 通过声明式配置实现自动预处理和训练流水线，是否能在简化模型实验的同时保持性能？
• RQ5 该系统在实践中对新手用户（通过仅配置工作流）和专家用户（通过可扩展、可自定义的组件）的支持效果如何？

主要发现

• Ludwig 仅通过基于数据类型的声明式配置文件即可实现深度学习模型的训练和推理，无需编写代码。
• ECD 架构通过将通用模式抽象为可重用组件，使图像分类和文本分类等多样化任务的模型设计保持一致且可组合。
• 基于类型的抽象促进了代码重用和可扩展性，因为组件基于数据类型接口被封装并可互换。
• 通过将编码器和解码器视为可配置参数，系统支持超参数搜索和架构搜索，模糊了模型搜索与超参数搜索之间的界限。
• Ludwig 的声明式接口通过减少样板代码，提升了专家的生产力，使其能够快速尝试不同的模型配置。
• 该工具箱具有可扩展性，并与现有深度学习框架（如 TensorFlow）集成，允许添加自定义组件，同时保持高层级、用户友好的接口。