[논문 리뷰] Enhancing Multi-Criteria Decision Analysis with AI: Integrating Analytic Hierarchy Process and GPT-4 for Automated Decision Support

Igor Svoboda, Dmytro Lande|arXiv (Cornell University)|2024. 02. 12.

Multi-Criteria Decision Making인용 수 4

한 줄 요약

이 논문은 사이버보안 분야에서 다기준 의사결정분석(MCDA)을 자동화하기 위해 분석적 계층구조법(AHP)과 GPT-4를 융합한 혁신적인 AI 보조 프레임워크를 제안한다. GPT-4를 자율적인 가상 전문가로 활용하여 상호 비교를 유도하고 처리함으로써 의사결정의 효율성과 신뢰성을 향상시키며, 복잡하고 고위험 영역에서 지능형 의사결정 지원 시스템에 큰 잠재력을 보여준다.

ABSTRACT

Our study presents a new framework that incorporates the Analytic Hierarchy Process (AHP) and Generative Pre-trained Transformer 4 (GPT-4) large language model (LLM), bringing novel approaches to cybersecurity Multiple-criteria Decision Making (MCDA). By utilizing the capabilities of GPT-4 autonomous agents as virtual experts, we automate the decision-making process, enhancing both efficiency and reliability. This new approach focuses on leveraging LLMs for sophisticated decision analysis, highlighting the synergy between traditional decision-making models and cutting-edge AI technologies. Our innovative methodology demonstrates significant advancements in using AI-driven agents for complex decision-making scenarios, highlighting the importance of AI in strategic cybersecurity applications. The findings reveal the transformative potential of combining AHP and LLMs, establishing a new paradigm for intelligent decision support systems in cybersecurity and beyond.

연구 동기 및 목표

• 기존 AHP의 확장성 부족과 전문가 의존성 문제를 해결하기 위해 상호 비교 유도 과정을 자동화하는 것.
• GPT-4와 같은 대규모 언어모델(LLM)이 MCDA에서 가상의 의사결정 전문가로 기능할 수 있는지 탐색하는 것.
• 구조화된 AHP와 생성형 AI를 융합하여 자동화되고 신뢰성 있으며 해석 가능한 의사결정 지원을 제공하는 하이브리드 프레임워크를 개발하는 것.
• 실제 사이버보안 의사결정 시나리오에서 AI 기반 AHP의 성능과 일관성을 평가하는 것.
• 고전적 의사결정 모델과 현대적 LLM을 융합함으로써 지능형 의사결정 지원 시스템의 새로운 패러다임을 설정하는 것.

제안 방법

• 프레임워크는 GPT-4를 가상 전문가 에이전트로 활용하여 의사결정 기준과 대안들을 바탕으로 자율적으로 상호 비교 행렬을 생성하고 검증한다.
• 기준과 대안에 대해 정규화된 가중치와 일관성 비율을 계산하기 위해 표준 AHP 방법론을 적용한다.
• 비교 과정 중 일관성 있고 맥락 인식이 가능한 응답을 확보하기 위해 구조화된 템플릿을 GPT-4에 프롬프트로 제공한다.
• LLM이 생성한 판단의 신뢰성을 향상시키기 위해 프롬프트 엔지니어링과 반복적 개선 기법을 활용한다.
• 다양한 사이버보안 활용 사례에서 의사결정 품질과 일관성 평가를 위해 시뮬레이션 환경에서 프레임워크를 구현한다.
• AHP의 수학적 제약 조건을 준수하기 위해 GPT-4가 생성한 비교 결과에 일관성 검사를 적용한다.

실험 결과

연구 질문

• RQ1 GPT-4는 AHP 기반 MCDA의 상호 비교에서 전문가 판단을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 GPT-4가 생성한 의사결정 가중치는 인간 전문가와 비교해 얼마나 일관성 있고 신뢰할 수 있는가?
• RQ3 LLM 통합이 전통적 AHP의 시간과 자원 소모를 얼마나 줄일 수 있는가?
• RQ4 사이버보안 분야의 핵심 의사결정에 LLM에 의존할 경우의 한계와 위험 요소는 무엇인가?
• RQ5 프롬프트 엔지니어링과 일관성 검사는 LLM 기반 AHP 결과의 신뢰성과 신뢰도를 어떻게 향상시킬 수 있는가?

주요 결과

• GPT-4가 생성한 상호 비교 결과는 높은 일관성 비율을 보이며, AHP의 요구 조건을 충족하는 신뢰할 수 있는 판단 일치를 나타냈다.
• AI 보조 AHP 프레임워크는 수동 전문가 유도 방식 대비 의사결정 분석에 소요되는 시간을 최대 70% 감소시켰다.
• 시험 케이스의 85%에서 인간 전문가가 도출한 결과와 일치하는 의사결정 가중치를 생성하여 정확성을 검증했다.
• 프롬프트 엔지니어링은 복잡한 의사결정 맥락에서 LLM 응답의 통일성과 신뢰도를 크게 향상시켰다.
• LLM과 AHP의 통합은 사이버보안 위험 평가에서 확장 가능하고 반복 가능하며 감사 가능한 의사결정 지원을 가능케 했다.
• 프레임워크는 실시간 또는 고용량 의사결정 환경에의 도입 잠재력을 높게 보여주었다.