[论文解读] Green AI
本论文主张将效率作为评估标准，与准确性并列，并提出报告一个具体的效率指标（FPO），以促进更环保和更具包容性的 AI 研究。它讨论 Red AI 的来源，介绍 Green AI 措施，并概述未来方向。
The computations required for deep learning research have been doubling every few months, resulting in an estimated 300,000x increase from 2012 to 2018 [2]. These computations have a surprisingly large carbon footprint [38]. Ironically, deep learning was inspired by the human brain, which is remarkably energy efficient. Moreover, the financial cost of the computations can make it difficult for academics, students, and researchers, in particular those from emerging economies, to engage in deep learning research. This position paper advocates a practical solution by making efficiency an evaluation criterion for research alongside accuracy and related measures. In addition, we propose reporting the financial cost or "price tag" of developing, training, and running models to provide baselines for the investigation of increasingly efficient methods. Our goal is to make AI both greener and more inclusive---enabling any inspired undergraduate with a laptop to write high-quality research papers. Green AI is an emerging focus at the Allen Institute for AI.
研究动机与目标
- 推动 AI 社区在研究中考虑超越准确性的环境与包容性成本。
- 识别推动 Red AI 的因素，包括模型规模、数据规模和超参数探索。
- 提出可行、可比较的效率指标，以辅以传统性能指标。
- 促进报告实践和社区规范，鼓励效率与对预训练模型的再利用。
提出的方法
- 利用文献和会议论文样本分析驱动 Red AI 的计算、数据和实验趋势。
- 定义一个简单、可实现的效率指标，即生成一个结果所需的 FPO（浮点运算）。
- 主张对计算成本的总体节约观念，包含训练、数据使用和超参数搜索。
- 建议报告成本敏感曲线（预算与准确度）以及可重复性的基线。
- 讨论 FPO 的硬件无关性及其在跨实验室公平比较中的优势。
- 回顾现有的效率方法并将其与 Green AI 目标联系起来。
实验结果
研究问题
- RQ1现代 AI 研究中有哪些因素促成 Red AI？
- RQ2如何以公平、可比且在跨实验室和硬件之间有意义的方式衡量效率？
- RQ3可以采用哪些做法来促进 Green AI，同时不牺牲科学进步？
- RQ4哪些报告规范有助于社区在与准确性并列时比较效率？
- RQ5AI 社区如何在会议上鼓励以效率为核心的贡献？
主要发现
- AI 结果的成本随每个示例处理成本、数据集规模和超参数实验次数增加而增长，且回报往往在减少。
- 大模型和海量数据在高成本下带来显著改进，提示需要以效率为中心的评估。
- FPO 提供了一个硬件无关、能代表工作量的效率度量，与运行时相关，适合公平比较。
- 报告预算/准确度曲线可以指导模型选择，并揭示在数据规模和计算预算下的效率权衡。
- 有证据表明 AI 会议目前更强调准确性而非效率，表明在效率导向的评估与认可方面还有空间。
- 预训练模型发布是一项绿色成功，可以为他人节省重新训练成本。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。