[论文解读] Apple Intelligence Foundation Language Models

Tom Gunter, Z. Wang+153 more|arXiv (Cornell University)|Jul 29, 2024

Advanced Database Systems and Queries被引用 4

一句话总结

本文介绍了苹果的基座语言模型——AFM-on-device（约30亿参数）和AFM-server，分别针对本地设备和私有云推理设计，重点聚焦于效率、准确性和负责任的AI。这些模型采用优化的Transformer架构、高质量的精选数据集，并通过严格的红队测试，实现了最先进的安全性与性能表现，在有害内容处理和帮助性的人类偏好评估中优于竞争对手。

ABSTRACT

We present foundation language models developed to power Apple Intelligence features, including a ~3 billion parameter model designed to run efficiently on devices and a large server-based language model designed for Private Cloud Compute. These models are designed to perform a wide range of tasks efficiently, accurately, and responsibly. This report describes the model architecture, the data used to train the model, the training process, how the models are optimized for inference, and the evaluation results. We highlight our focus on Responsible AI and how the principles are applied throughout the model development.

研究动机与目标

• 开发功能强大、高效且注重隐私保护的基座语言模型，以集成至iOS、iPadOS和macOS中的Apple Intelligence功能中。
• 通过在模型开发全过程中嵌入核心原则——用户赋权、代表性、审慎设计和隐私保护，确保负责任的AI。
• 优化模型以实现低延迟的本地设备推理，同时在文本生成、摘要生成和工具使用等多样化任务中保持高性能。
• 通过对抗性提示和与竞争对手模型的人类偏好对比，严格评估模型安全性。
• 构建可扩展、以隐私为先的AI系统，通过主动设计和数据精选，避免偏见并尊重用户数据。

提出的方法

• 采用密集解码器-only Transformer架构，结合RMSNorm、预归一化和查询/键归一化，以提升训练稳定性。
• 使用分组查询注意力（GQA），配备8个键值头，以减少KV缓存内存占用并提升推理效率。
• 采用共享输入/输出嵌入和SwiGLU激活函数，降低参数量并提升计算效率。
• 实现RoPE位置嵌入，基础频率为500k，以支持长上下文推理。
• 从授权出版商内容、开源数据集和Applebot爬取的网页中精选高质量、多样化训练数据集，并严格过滤个人身份信息（PII）、粗俗用语和不安全内容。
• 通过自动化提示生成和结合安全分类体系的人工红队测试，识别并缓解模型潜在漏洞。

实验结果

研究问题

• RQ1 如何设计基座语言模型，使其在保持高效与低功耗的同时，实现高性能的本地设备推理？
• RQ2 哪些数据筛选与净化策略在确保高质量、安全且保护隐私的预训练数据方面最为有效？
• RQ3 负责任的AI原则（包括偏见缓解和隐私保护）在多大程度上能提升模型安全性与用户信任？
• RQ4 在安全性与帮助性方面，与商用及开源模型相比，该模型在人类偏好评估中的表现如何？
• RQ5 自动化与人工红队测试流程是否能有效识别并减少模型对对抗性提示的脆弱性？

主要发现

• AFM-on-device与AFM-server在对抗性安全提示测试中，违规率显著低于开源及商用模型，展现出对有害内容的强大鲁棒性。
• 在85%的并列评估中，人类评分员更偏好苹果模型的回复，认为其在安全性和帮助性方面表现更优。
• 模型在文本生成、摘要生成和工具使用等多样化任务中均保持高性能，本地设备模型参数量约为25.8亿（不含嵌入层），并在Apple Silicon芯片上实现高效推理。
• 通过严格的去污染与数据过滤流程，显著降低了对PII、粗俗用语和不安全内容的暴露，且训练过程中未使用任何私人用户数据。
• 通过内部与外部众包方式开展红队测试，辅以健康支持资源与时间限制，全面探测了安全风险，同时保障了参与者的身心健康。
• 自动化提示生成在数据收集中的应用有效识别出模型的薄弱环节，并提升了评估数据集的覆盖范围。