[论文解读] Governance of Generative Artificial Intelligence for Companies

Johannes Schneider, Kuss, Pauline+2 more|ArXiv.org|Feb 5, 2024

Collaboration in agile enterprises被引用 4

一句话总结

本文通过将现有人工智能治理模型适配大型语言模型（LLMs）的独特特性，提出了一种针对企业生成式人工智能（GenAI）的定制化治理框架。该框架通过扩展的框架开发流程，整合技术与业务视角，提供可操作的机制，以把握GenAI机遇，同时减轻偏见、幻觉和合规性问题等风险。

ABSTRACT

Generative Artificial Intelligence (GenAI), specifically large language models (LLMs) like ChatGPT, has swiftly entered organizations without adequate governance, posing both opportunities and risks. Despite extensive debate on GenAI's transformative potential and emerging regulatory measures, limited research addresses organizational governance from both technical and business perspectives. While frameworks for AI governance exist, it remains unclear to what extent they apply to GenAI. This review paper fills this gap by surveying recent literature to better understand the fundamental characteristics of GenAI and to adapt existing governance frameworks specifically to GenAI within organizations. To this end, it extends Nickerson's framework development process by incorporating prior conceptualizations. The resulting framework delineates scope, objectives, and governance mechanisms designed to both harness business opportunities and mitigate risks associated with GenAI integration. Overall, this research advances a focused approach to GenAI governance, offering practical guidance for companies navigating the challenges of GenAI adoption and highlighting research gaps.

研究动机与目标

• 解决组织在生成式人工智能（特别是大型语言模型，LLMs）治理方面的空白，尽管其采用率持续上升且受到监管关注。
• 考察现有人工智能治理框架在企业环境中应用于GenAI时的适用性或不适用性。
• 开发一个全面的、组织特定的治理框架，以在GenAI部署中平衡创新与风险缓解。
• 通过聚焦技术与业务双重维度，为公司提供实用指导，以应对GenAI采用的复杂性。
• 识别生成式人工智能治理中的关键研究空白，并为组织人工智能管理的未来研究方向提供建议。

提出的方法

• 将Nickerson的框架开发流程进行调整，以整合人工智能治理的既有概念化成果以及GenAI特有的挑战。
• 对近期关于GenAI与组织治理的文献进行系统性回顾，以识别核心特征与风险。
• 将现有人工智能治理原则（如公平性、透明度和问责制）映射到大语言模型的独特行为特征上，包括幻觉和提示敏感性。
• 设计针对GenAI系统的治理机制，如基于角色的访问控制、模型监控协议和数据血缘追踪。
• 将技术控制（如输入验证、输出过滤）与组织政策（如使用指南、审计日志）相结合，实现整体治理。
• 通过与实际组织需求及新兴监管标准的一致性，验证该框架的适用性。

实验结果

研究问题

• RQ1 生成式人工智能的根本特性，特别是大语言模型，如何在组织环境中挑战现有的人工智能治理框架？
• RQ2 当前的人工智能治理框架在多大程度上仍适用于企业环境中的生成式人工智能，或需要进行调整？
• RQ3 为在技术与业务双重维度上平衡创新与风险，GenAI采用过程中需要哪些特定的治理机制？
• RQ4 组织如何通过整合技术控制与组织政策，实现GenAI治理的落地实施？
• RQ5 在企业环境中，生成式人工智能治理仍存在哪些关键研究空白？

主要发现

• 研究发现，GenAI系统（尤其是LLMs）引入了独特的风险，如幻觉、提示注入和数据泄露，这些风险在传统人工智能治理模型中未得到充分解决。
• 现有人工智能治理框架通常缺乏对GenAI动态、上下文敏感且高速决策模式的具体针对性。
• 所提出的框架成功地将技术控制（如输入净化和输出监控）与组织政策（如基于角色的访问控制和审计日志）相结合。
• 研究证明，对技术与业务治理的双重关注对于有效管理GenAI至关重要，尤其是在高风险的企业应用场景中。
• 该框架突出了关键的研究空白，包括对GenAI风险的标准化评估指标的需求，以及组织级GenAI治理成熟度模型的开发需求。
• 研究结论指出，若缺乏定制化治理，企业即使拥有GenAI的变革潜力，仍可能面临监管不合规、声誉损害和运营低效的风险。