[论文解读] DeepCAVE: An Interactive Analysis Tool for Automated Machine Learning

René Sass, Eddie Bergman+3 more|arXiv (Cornell University)|Jun 7, 2022

Machine Learning and Data Classification被引用 4

一句话总结

DeepCAVE 是一个用于自动化机器学习（AutoML）的交互式、实时分析框架，通过使用户能够监控、可视化和解释超参数优化、神经架构搜索以及多保真度/多目标运行过程，从而增强透明度和信任感。它支持通过模块化插件实现动态探索，包括性能分析、配置重要性分析和帕累托前沿可视化，主要贡献包括实时监控、多保真度优化支持，以及为专家和非专家用户提供的友好易用的解释工具。

ABSTRACT

Automated Machine Learning (AutoML) is used more than ever before to support users in determining efficient hyperparameters, neural architectures, or even full machine learning pipelines. However, users tend to mistrust the optimization process and its results due to a lack of transparency, making manual tuning still widespread. We introduce DeepCAVE, an interactive framework to analyze and monitor state-of-the-art optimization procedures for AutoML easily and ad hoc. By aiming for full and accessible transparency, DeepCAVE builds a bridge between users and AutoML and contributes to establishing trust. Our framework's modular and easy-to-extend nature provides users with automatically generated text, tables, and graphic visualizations. We show the value of DeepCAVE in an exemplary use-case of outlier detection, in which our framework makes it easy to identify problems, compare multiple runs and interpret optimization processes. The package is freely available on GitHub https://github.com/automl/DeepCAVE.

研究动机与目标

• 为解决由于 AutoML 系统的黑箱特性导致的透明度和信任缺失问题。
• 实现在执行过程中而非仅事后分析，对 AutoML 优化过程进行实时、交互式分析。
• 支持在深度学习 AutoML 中常见的多保真度和多目标优化工作流。
• 为所有经验水平的用户提供可访问、直观的可视化和可解释性工具。
• 通过交互式、模块化的分析插件，弥合用户与 AutoML 之间的鸿沟，将人类重新纳入优化循环。

提出的方法

• DeepCAVE 作为一个模块化、可扩展的框架构建，通过基于文件系统的数据转换器与任何 AutoML 优化器集成。
• 通过在执行过程中持续读取和解析优化器输出，实现对执行过程的实时监控。
• 该框架包含用于可视化性能轨迹、帕累托前沿、超参数重要性（通过 fANOVA 和 LPI）以及配置足迹的交互式插件。
• 支持通过共享可视化和交互式过滤，对多个优化运行或组进行比较。
• 系统在悬停或点击时自动生成代码片段和配置详情，允许直接重用表现最佳的配置。
• 设计为与优化器无关，支持广泛的 AutoML 工作流，包括 HPO、NAS 和 CASH。

实验结果

研究问题

• RQ1 用户如何在不等待运行完成的情况下，实时洞察 AutoML 优化过程的进展和行为？
• RQ2 在特定的 AutoML 运行中，哪些是影响最大的超参数和架构选择，它们如何影响性能？
• RQ3 如何以交互方式有效可视化和比较多保真度和多目标优化的结果？
• RQ4 交互式分析工具是否能提升用户对 AutoML 决策的信任和理解，特别是在安全关键型应用中？
• RQ5 可解释性插件如何帮助用户检测问题、识别异常值，并在长时间运行的优化过程中做出明智决策？

主要发现

• DeepCAVE 支持对 AutoML 优化过程的实时监控，使用户能够在执行过程中早期发现潜在问题并做出明智决策。
• 该框架成功支持多保真度和多目标优化，这对高效且真实的 AutoDL 工作流至关重要。
• 通过 fANOVA 和 LPI 插件，研究发现学习率、批量大小和模型架构是异常检测任务中最具影响力的超参数。
• 帕累托前沿可视化使用户能够比较准确率、训练时间与成本等目标之间的权衡，支持更明智的配置选择。
• 点击式点选和自动生成代码片段等交互功能显著提升了用户体验和表现最佳配置的可重用性。
• 与现有工具如 CAVE 和 XAutoML 相比，该框架在提供实时、交互式且可扩展的分析方面表现更优，支持复杂的优化工作流。