[论文解读] A Hazard Analysis Framework for Code Synthesis Large Language Models

Heidy Khlaaf, Pamela Mishkin+3 more|arXiv (Cornell University)|Jul 25, 2022

Software Engineering Research被引用 9

一句话总结

本文提出了一种针对代码生成大型语言模型（LLMs）（如Codex）的危险分析框架，整合了一种新颖的能力评估方法，以衡量模型在复杂、高层次代码规范下的表现。该框架识别出技术、社会、政治和经济风险，并提出优先级缓解措施，包括模型架构加固、使用精选数据进行微调，以及面向用户的安全部署控制，以降低误用风险和对齐问题。

ABSTRACT

Codex, a large language model (LLM) trained on a variety of codebases, exceeds the previous state of the art in its capacity to synthesize and generate code. Although Codex provides a plethora of benefits, models that may generate code on such scale have significant limitations, alignment problems, the potential to be misused, and the possibility to increase the rate of progress in technical fields that may themselves have destabilizing impacts or have misuse potential. Yet such safety impacts are not yet known or remain to be explored. In this paper, we outline a hazard analysis framework constructed at OpenAI to uncover hazards or safety risks that the deployment of models like Codex may impose technically, socially, politically, and economically. The analysis is informed by a novel evaluation framework that determines the capacity of advanced code generation techniques against the complexity and expressivity of specification prompts, and their capability to understand and execute them relative to human ability.

研究动机与目标

• 为解决代码生成大型语言模型缺乏系统性安全评估的问题，尽管其具有实用性，但仍存在对齐、误用和社会风险。
• 开发一种能力评估框架，以衡量大型语言模型理解并从日益复杂的自然语言规范中生成代码的能力。
• 识别并分析在大规模部署代码生成大型语言模型（如Codex）时可能出现的技术、社会、政治和经济危害。
• 提出针对模型架构、训练数据、用户交互和经济影响的定制化缓解策略。
• 建立可重复的危险分析流程，适用于未来的代码生成大型语言模型，确保在开发过程中主动整合安全性。

提出的方法

• 将正式规范度量方法（如表达能力、复杂度）适配至自然语言提示，以在规范难度递增的情况下基准化模型能力。
• 构建一组反映高层次编程任务的定性测试问题，由人类专家评估以对模型输出进行分类。
• 应用危险分析技术（如风险因素识别、故障模式分析）于模型部署场景，例如通过API访问Codex。
• 将识别出的危险映射至严重性和发生概率，并考虑其分布影响（如对边缘化群体的影响）。
• 将缓解策略整合至模型开发中，包括通过架构调整以优先生成语法和抽象语法树（AST）合规的输出。
• 实施微调、对危险库进行黑名单化，以及训练分类器以检测并阻止恶意或有偏见的代码生成。

实验结果

研究问题

• RQ1 如何系统性地评估代码生成大型语言模型在面对日益复杂和高层次的自然语言规范时的能力？
• RQ2 在真实系统中大规模部署代码生成大型语言模型（如Codex）时，会涌现出哪些技术、社会、政治和经济危害？
• RQ3 如何将危险分析方法适配至具有理解不足的故障模式和涌现行为的机器学习系统？
• RQ4 哪些缓解策略最有效地降低代码生成模型在误用、偏见和系统性伤害方面的风险？
• RQ5 模型开发者如何确保在模型架构和部署环境持续演进的过程中，持续开展安全评估？

主要发现

• 该评估框架成功衡量了模型在人类水平理解复杂、高层次代码规范方面的能力，揭示了当前大型语言模型能力的不足之处。
• Codex在基础函数级任务中表现良好，但在需要深层语义理解的高层次、规范驱动编程任务中表现吃力。
• 危险分析识别出关键风险，包括恶意代码生成、偏见放大、开发者劳动力的经济冲击，以及监控技术的加速应用。
• 高优先级风险集中于自动化漏洞利用生成、支持虚假信息传播，以及生成侵犯隐私的代码，尤其是在模型通过公共API暴露时。
• 通过模型架构加固、使用精选数据进行训练，以及基于分类器的检测等缓解策略，显著降低了关键危害的危险风险指数（HRI）。
• 在现实环境中持续评估和监控模型行为至关重要，因为危险特征会随着模型规模和部署环境的变化而演变。