[论文解读] A Synthesis of Green Architectural Tactics for ML-Enabled Systems

Heli Järvenpää, Patricia Lago+4 more|arXiv (Cornell University)|Dec 15, 2023

Green IT and Sustainability被引用 4

一句话总结

本文提出了一套30项面向机器学习（ML）增强系统的绿色架构策略，其源自对51篇同行评审的绿色AI研究的综合分析，并经由软件架构专家验证。这些策略被划分为六个类别，提供了可操作的、高层次的设计策略，以减少ML系统开发过程中的能效与碳足迹，从而在不损害模型准确性的前提下促进环境可持续性。

ABSTRACT

The rapid adoption of artificial intelligence (AI) and machine learning (ML) has generated growing interest in understanding their environmental impact and the challenges associated with designing environmentally friendly ML-enabled systems. While Green AI research, i.e., research that tries to minimize the energy footprint of AI, is receiving increasing attention, very few concrete guidelines are available on how ML-enabled systems can be designed to be more environmentally sustainable. In this paper, we provide a catalog of 30 green architectural tactics for ML-enabled systems to fill this gap. An architectural tactic is a high-level design technique to improve software quality, in our case environmental sustainability. We derived the tactics from the analysis of 51 peer-reviewed publications that primarily explore Green AI, and validated them using a focus group approach with three experts. The 30 tactics we identified are aimed to serve as an initial reference guide for further exploration into Green AI from a software engineering perspective, and assist in designing sustainable ML-enabled systems. To enhance transparency and facilitate their widespread use and extension, we make the tactics available online in easily consumable formats. Wide-spread adoption of these tactics has the potential to substantially reduce the societal impact of ML-enabled systems regarding their energy and carbon footprint.

研究动机与目标

• 解决从软件架构视角出发，针对ML增强系统设计环境可持续性方面缺乏具体、可操作指导的现状。
• 识别并综合出针对ML系统开发中能效优化的绿色架构策略，超越仅关注模型层面的优化。
• 提供一个透明、可重用且可扩展的策略目录，以支持ML系统中的可持续软件工程实践。
• 通过将环境关切转化为设计层面的决策，弥合绿色AI研究与软件架构之间的鸿沟。
• 通过将策略以机器可读格式公开发布，并整合至现有软件工程知识库，促进产业采纳与进一步研究。

提出的方法

• 对51篇聚焦于绿色AI及ML中环境可持续性的同行评审出版物进行了系统性文献综述。
• 从文献中提取并综合出有助于提升ML系统能效的高层次设计技术（架构策略）。
• 将识别出的30项策略按六个主题类别进行组织：数据导向、算法设计、模型优化、模型训练、部署与管理。
• 通过与三位ML系统软件架构专家（SA4ML）的焦点小组讨论，对初始策略集合进行验证与优化。
• 将最终的策略目录整合至Awesome and Dark Tactics（AADT）档案库，以提升可发现性与可重用性。
• 在Zenodo上发布完整策略集，附带来源信息与元数据，以确保长期可访问性与版本控制。

实验结果

研究问题

• RQ1 RQ1：能否从科学文献中综合出面向ML增强系统的绿色架构策略？
• RQ2 RQ2：SA4ML专家如何评价所综合出的绿色架构策略集合？
• RQ3 RQ3：如何对绿色架构策略进行结构化与形式化，以支持其在ML系统设计中的实际应用？
• RQ4 RQ4：在ML系统架构中，能效与其他质量属性（如准确性）之间存在哪些关键权衡？
• RQ5 RQ5：如何对架构策略进行泛化与扩展，以支持多样化的ML算法与系统关注点？

主要发现

• 本研究成功识别并综合出30项面向ML增强系统的绿色架构策略，按六个逻辑清晰的类别组织：数据导向、算法设计、模型优化、模型训练、部署与管理。
• 焦点小组验证确认了这些策略的相关性与实用性，专家们强调其在指导可持续系统设计方面具有价值，尤其是在早期架构决策阶段。
• 多数策略聚焦于模型层面的效率，而非端到端系统架构，表明当前在全栈ML系统架构知识方面仍存在研究空白。
• 大多数策略被发现对模型准确性维持不变或仅有轻微影响，表明在不牺牲性能的前提下可实现显著的能效提升。
• 将目录整合至AADT与Zenodo，确保了长期可访问性、版本控制与可重用性，惠及研究人员与实践者。
• 本研究证明，架构策略可作为绿色AI研究与软件工程实践之间的桥梁，实现ML系统系统化、可持续的设计。