[论文解读] A Reference Architecture for Designing Foundation Model based Systems

Qinghua Lu, Liming Zhu+3 more|arXiv (Cornell University)|Apr 13, 2023

Scientific Computing and Data ManagementDecision Sciences被引用 3

一句话总结

本文提出了一种面向负责任基础模型（FM）系统的模式导向参考架构，解决了架构演进、问责制和可信性等挑战。该架构在系统、运行和供应链层级引入七种关键设计模式，以实现适应性、可修改性及负责任的AI实践——并通过将该架构映射到基于GPT-4和检索增强生成（RAG）的真实世界RAI聊天机器人系统得到验证。

ABSTRACT

The release of ChatGPT, Gemini, and other large language model has drawn huge interests on foundations models. There is a broad consensus that foundations models will be the fundamental building blocks for future AI systems. However, there is a lack of systematic guidance on the architecture design. Particularly, the the rapidly growing capabilities of foundations models can eventually absorb other components of AI systems, posing challenges of moving boundary and interface evolution in architecture design. Furthermore, incorporating foundations models into AI systems raises significant concerns about responsible and safe AI due to their opaque nature and rapidly advancing intelligence. To address these challenges, the paper first presents an architecture evolution of AI systems in the era of foundation models, transitioning from "foundation-model-as-a-connector" to "foundation-model-as-a-monolithic architecture". The paper then identifies key design decisions and proposes a pattern-oriented reference architecture for designing responsible foundation-model-based systems. The patterns can enable the potential of foundation models while ensuring associated risks.

研究动机与目标

• 解决在基础模型（FM）能力快速发展的背景下，FM基础AI系统缺乏系统性架构指导的问题。
• 应对由于FM吸收外部组件而导致的边界迁移和接口演化等架构挑战。
• 通过问责制、可追溯性和可信性确保负责任的AI。
• 提供一种未来可扩展、可适应的架构，以支持FM能力的持续演进和合规性要求。
• 开发一种基于模式的参考架构，在系统、运行和供应链层级中内嵌设计即负责任的AI实践。

提出的方法

• 提出三阶段架构演进：从传统AI系统，到FM作为连接器，最终演变为FM作为单体架构。
• 引入七种关键设计模式：黑箱记录器、标准化报告器、验证器、自言自语、代理团队、共版本注册表和AIBOM注册表。
• 应用自言自语模式以通过暴露FM的中间推理步骤来增强透明度。
• 使用黑箱记录器记录输入、输出及中间步骤，附带时间戳和位置信息，以支持可审计性和问责制。
• 采用验证器模式，允许人类专家审查并修正FM生成的输出。
• 通过AIBOM注册表和共版本注册表集成供应链控制，以追踪第三方AI组件及其负责任AI（RAI）凭证。

实验结果

研究问题

• RQ1 基础模型的架构角色如何从协调连接器演变为单体系统？
• RQ2 在构建具备适应性、模块化和可信性的负责任FM基础系统时，关键设计决策与权衡是什么？
• RQ3 在涉及多个利益相关方的FM基础系统中，如何系统性地支持问责制和可追溯性？
• RQ4 哪些架构模式能够支持审计性、可解释性和风险监控等负责任AI实践的集成？
• RQ5 所提出的参考架构在多大程度上可以映射并验证于真实世界的FM基础系统？

主要发现

• 该参考架构成功映射到一个使用GPT-4和RAG的真实世界负责任AI（RAI）聊天机器人系统，证明了其实际适用性。
• 系统层包含基础模型、交互组件和数据源，而运行层与供应链层则确保运行时和采购过程的可追溯性。
• 黑箱记录器支持对输入、输出及中间步骤的完整日志记录，附带时间戳和位置信息，从而支持问责制和可审计性。
• 验证器模式允许人类专家审查并编辑FM生成的响应，从而提升可靠性与可信性。
• AIBOM注册表和共版本注册表支持对第三方组件的可追溯性，包括其负责任AI指标和可验证凭证。
• 该架构支持可修改性和适应性，支持未来集成微调后的或主权基础模型，以及不断演进的系统需求。