[论文解读] AI Assessment in Practice: Implementing a Certification Scheme for AI Trustworthiness (Academic Track)

Frischknecht-Gruber, Carmen, Denzel, Philipp+7 more|arXiv (Cornell University)|Jan 14, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文介绍了两个开源软件库——hydra-zen 和 rAI-toolbox——旨在通过支持可配置、可复现且稳健的机器学习工作流，提升负责任的 AI 工程实践。这些工具利用 Hydra 进行配置管理，并通过 Hypothesis 实现属性测试，以确保可靠性，展示了在极小代码开销下对可扩展对抗鲁棒性评估和可解释 AI 实现的支持。

ABSTRACT

Responsible Artificial Intelligence (AI) - the practice of developing, evaluating, and maintaining accurate AI systems that also exhibit essential properties such as robustness and explainability - represents a multifaceted challenge that often stretches standard machine learning tooling, frameworks, and testing methods beyond their limits. In this paper, we present two new software libraries - hydra-zen and the rAI-toolbox - that address critical needs for responsible AI engineering. hydra-zen dramatically simplifies the process of making complex AI applications configurable, and their behaviors reproducible. The rAI-toolbox is designed to enable methods for evaluating and enhancing the robustness of AI-models in a way that is scalable and that composes naturally with other popular ML frameworks. We describe the design principles and methodologies that make these tools effective, including the use of property-based testing to bolster the reliability of the tools themselves. Finally, we demonstrate the composability and flexibility of the tools by showing how various use cases from adversarial robustness and explainable AI can be concisely implemented with familiar APIs.

研究动机与目标

• 解决日益增长的挑战：在标准机器学习工具之外，构建更稳健、可解释且可复现的负责任 AI 系统。
• 通过以 Python 为中心、与 Hydra 集成的工作流，减少技术债务并简化复杂 AI 应用中的配置管理。
• 通过原生支持高级机器学习技术，实现对模型鲁棒性和可解释性的可扩展、可组合评估。
• 通过 Hypothesis 的属性测试提升工具可靠性，确保在多样化输入空间中的正确性。

提出的方法

• hydra-zen 扩展了 Hydra 框架，通过原生 Python 配置构建器（如 `builds`、`make_config`）自动生成并验证基于 YAML 的配置。
• rAI-toolbox 提供模块化、兼容 PyTorch 的组件，用于对抗训练、鲁棒性评估和可解释性技术，并支持可组合的 API。
• 两个库均通过 Hypothesis 库实现属性测试，自动生成功能多样的测试输入，并验证诸如幂等性等函数不变性。
• 通过 `launch` 命令配合 `multirun` 支持，对模型类型和超参数（如对抗扰动大小 ϵ）进行扫描。
• 该框架与 PyTorch Lightning 及数据并行训练（如 DDP）集成，支持跨 GPU 的分布式执行。
• 通过逐步增加扰动大小（ϵ）来评估模型性能，生成鲁棒性曲线，结果通过保存的配置实现可复现性。

实验结果

研究问题

• RQ1 如何在复杂的分层机器学习工作流中，使 AI 系统更具可配置性和可复现性？
• RQ2 属性测试在多大程度上能提升 AI 评估工具的可靠性？
• RQ3 鲁棒性和可解释性技术能否与主流机器学习框架（如 PyTorch）自然地组合？
• RQ4 配置管理在大规模 AI 开发中如何减少技术债务？
• RQ5 可扩展、可组合的工具链对负责任 AI 实践的实际采纳有何影响？

主要发现

• hydra-zen 通过以 Python 为中心、类型安全的配置生成，实现了复杂 AI 系统的完整配置与可复现性，减少了手动维护 YAML 文件的工作量和技术债务。
• rAI-toolbox 通过熟悉的 PyTorch API，实现了对抗鲁棒性和可解释 AI 技术的简洁实现，代码冗余极少。
• 使用 Hypothesis 的属性测试成功验证了功能不变性（如裁剪操作的幂等性），显著提升了工具在多样化输入下的可靠性。
• 在 CIFAR-10 上，对标准模型和鲁棒模型的鲁棒性曲线在五个 ϵ 值（0.0 到 2.0）下生成，清晰展示了扰动增大时的性能下降。
• 该框架通过 PyTorch DDP 支持分布式训练，并可通过完整可复现的配置实现对模型和超参数配置的多运行扫描。
• 这些工具实现了可扩展、可组合且可追溯的 AI 系统评估，配置以 YAML 格式保存，确保了完全的可复现性和可审计性。