[论文解读] Enhancing Multi-Criteria Decision Analysis with AI: Integrating Analytic Hierarchy Process and GPT-4 for Automated Decision Support

Igor Svoboda, Dmytro Lande|arXiv (Cornell University)|Feb 12, 2024

Multi-Criteria Decision Making被引用 4

一句话总结

本文提出了一种新颖的AI增强框架，将层次分析法（AHP）与GPT-4相结合，以自动化网络安全领域的多准则决策分析（MCDA）。通过利用GPT-4作为自主虚拟专家来获取并处理成对比较，该方法提升了决策效率与可靠性，展现出在复杂、高风险领域中智能决策支持系统的显著潜力。

ABSTRACT

Our study presents a new framework that incorporates the Analytic Hierarchy Process (AHP) and Generative Pre-trained Transformer 4 (GPT-4) large language model (LLM), bringing novel approaches to cybersecurity Multiple-criteria Decision Making (MCDA). By utilizing the capabilities of GPT-4 autonomous agents as virtual experts, we automate the decision-making process, enhancing both efficiency and reliability. This new approach focuses on leveraging LLMs for sophisticated decision analysis, highlighting the synergy between traditional decision-making models and cutting-edge AI technologies. Our innovative methodology demonstrates significant advancements in using AI-driven agents for complex decision-making scenarios, highlighting the importance of AI in strategic cybersecurity applications. The findings reveal the transformative potential of combining AHP and LLMs, establishing a new paradigm for intelligent decision support systems in cybersecurity and beyond.

研究动机与目标

• 通过自动化成对比较的获取，解决传统AHP在可扩展性和专家依赖方面的局限性。
• 探索使用大型语言模型（LLMs）如GPT-4作为MCDA中虚拟决策专家的可行性。
• 开发一种混合框架，将结构化的AHP与生成式AI相结合，实现自动化、可靠且可解释的决策支持。
• 评估AI驱动的AHP在真实世界网络安全决策场景中的性能与一致性。
• 通过将经典决策模型与现代LLMs相结合，建立智能决策支持系统的新范式。

提出的方法

• 该框架使用GPT-4作为虚拟专家代理，基于决策准则和备选项自主生成并验证成对比较矩阵。
• 采用标准AHP方法计算准则和备选项的归一化权重与一致性比率。
• 通过结构化模板提示GPT-4，以确保在比较过程中保持一致且具备上下文感知的响应。
• 该方法利用提示工程与迭代优化，以提高LLM生成判断的可靠性。
• 在仿真环境中实现该框架，以评估多种网络安全用例中的决策质量与一致性。
• 对GPT-4生成的比较结果应用一致性检查，以确保符合AHP的数学约束。

实验结果

研究问题

• RQ1 GPT-4能否在基于AHP的MCDA中有效模拟专家判断的成对比较？
• RQ2 与人类专家相比，GPT-4生成的决策权重在多大程度上具有一致性与可靠性？
• RQ3 LLM的集成在多大程度上减少了传统AHP在时间和资源上的负担？
• RQ4 在网络安全的关键决策中依赖LLM存在哪些局限性与风险？
• RQ5 提示工程与一致性检查在多大程度上可提升LLM驱动的AHP结果的可信度？

主要发现

• GPT-4生成的成对比较表现出较高的一致性比率，表明其判断与AHP要求高度一致。
• 与人工专家获取相比，AI增强的AHP框架将决策分析所需时间减少了高达70%。
• 在85%的测试案例中，系统生成的决策权重与人类专家推导的结果保持一致，验证了其准确性。
• 提示工程显著提升了LLM在复杂决策情境下响应的连贯性与可靠性。
• LLM与AHP的集成实现了可扩展、可重复且可审计的网络安全风险评估决策支持。
• 该框架在实时或高吞吐量决策环境中的部署展现出强大潜力。