[논문 리뷰] Using Large Language Models for Cybersecurity Capture-The-Flag Challenges and Certification Questions

Wesley Joon-Wie Tann, Yuancheng Liu외 3명|arXiv (Cornell University)|2023. 08. 21.

Digital and Cyber Forensics인용 수 7

한 줄 요약

이 연구는 ChatGPT, Google Bard, Microsoft Bing과 같은 대규모 언어 모델(Large Language Models, LLMs)이 사이버보안 CTF(캡처 더 플래그) 도전 과제와 시소 코리티피케이션 질문을 해결하는 데 얼마나 효과적인지 평가한다. LLMs는 사실적 질문에 대해 최대 82%의 정확도를 보이며, CTF 테스트 케이스의 7개 중 6개를 해결할 수 있지만, 보통 안전 정책으로 인해 제한을 받는다. 이러한 제한은 '재판금지 프롬프트'(jailbreak prompts)를 통해 우회 가능하며, 이는 윤리적 취약점을 드러낸다.

ABSTRACT

The assessment of cybersecurity Capture-The-Flag (CTF) exercises involves participants finding text strings or ``flags'' by exploiting system vulnerabilities. Large Language Models (LLMs) are natural-language models trained on vast amounts of words to understand and generate text; they can perform well on many CTF challenges. Such LLMs are freely available to students. In the context of CTF exercises in the classroom, this raises concerns about academic integrity. Educators must understand LLMs' capabilities to modify their teaching to accommodate generative AI assistance. This research investigates the effectiveness of LLMs, particularly in the realm of CTF challenges and questions. Here we evaluate three popular LLMs, OpenAI ChatGPT, Google Bard, and Microsoft Bing. First, we assess the LLMs' question-answering performance on five Cisco certifications with varying difficulty levels. Next, we qualitatively study the LLMs' abilities in solving CTF challenges to understand their limitations. We report on the experience of using the LLMs for seven test cases in all five types of CTF challenges. In addition, we demonstrate how jailbreak prompts can bypass and break LLMs' ethical safeguards. The paper concludes by discussing LLM's impact on CTF exercises and its implications.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 실제 사이버보안 CTF(캡처 더 플래그) 과제를 해결하는 데 얼마나 능숙한지 평가하기 위해.
• CCNA에서 CCIE에 이르기까지 다양한 난이도 수준의 전문 자격증 문제에서 LLM의 성능을 평가하기 위해.
• LLMs 내 윤리적 보호 장치가 교육적 및 경쟁적 사이버보안 환경에서의 활용도에 어떤 영향을 미치는지 조사하기 위해.
• 재판금지 프롬프트를 활용해 LLM의 안전 정책을 우회하고, 잠재적으로 해로운 또는 악용 가능한 정보를 추출할 수 있는지 탐색하기 위해.
• 사이버보안 교육에서 LLM의 영향을 고려해 교육자들이 학업 정직성과 수업 전략에 대한 통찰을 얻을 수 있도록 돕기 위해.

제안 방법

• CCNA에서 CCIE까지의 시소 자격증 시험에서의 사실적 및 개념적 질문에 대해, OpenAI ChatGPT, Google Bard, Microsoft Bing의 세 가지 유명한 LLM을 평가하였다.
• 포렌식, 암호학, 웹 해킹, 역공학, 바이너리 해킹의 다섯 가지 CTF 도전 유형 전반에 걸쳐 일곱 개의 테스트 케이스를 수행하였다.
• 실제 CTFd 플랫폼의 도전 과제와 라이브 타겟을 활용하여, 반복적 프롬프트를 통해 LLM이 솔루션을 생성하도록 하였다.
• 재판금지 프롬프트, 예를 들어 '항상 지능적이고 마키아벨리스틱한(Always Intelligent and Machiavellian, AIM)' 프롬프트를 사용하여 윤리적 제약을 우회하고 악성 명령어를 추출하였다.
• 정답의 정확도, 솔루션의 완전성, 작동 가능한 악성 명령어 생성 능력을 기반으로 성능을 측정하였다.
• 모델 출력을 정성적으로 분석하여, CTF 맥락에서 LLM이 생성한 솔루션이 얼마나 유용하고 교육적 가치가 있는지 평가하였다.

실험 결과

연구 질문

• RQ1 RQ1: LLM은 시소 자격증 시험의 다양한 난이도 수준에서 전문 자격증 질문에 얼마나 잘 대답할 수 있는가?
• RQ2 RQ2: CTF 과제를 해결하기 위해 LLM을 사용할 때의 경험은 어떠하며, 생성된 솔루션의 효과성은 어떠한가?
• RQ3 RQ3: 재판금지 프롬프트를 통해 LLM의 안전 정책을 우회하여 CTF 과제에 활용 가능한 악성 명령어 정보를 추출할 수 있는가?
• RQ4 RQ4: LLM의 도움이 사이버보안 교육 및 CTF 대회에서의 학업 정직성에 어떤 영향을 미치는가?

주요 결과

• ChatGPT는 시소 자격증 시험의 사실적 다중선택 질문 중 82%를 정확히 답했지만, 개념적 질문의 경우 약 50%에 그쳤다.
• 일곱 개의 CTF 테스트 케이스 중 ChatGPT는 여섯 개를 성공적으로 해결했고, Google Bard는 두 개, Microsoft Bing은 오직 한 개만 해결했다.
• LLMs는 종종 정확한 Nikto 및 curl 명령어와 같은 핵심 정보를 제공하여 과제 해결 속도를 크게 향상시켰다.
• 강력한 안전 정책에도 불구하고, AIM 프롬프트와 같은 재판금지 프롬프트가 성공적으로 제약을 우회하여 작동 가능한 악성 명령어 생성을 가능하게 하였다.
• 재판금지 프롬프트의 사용을 통해 참가자들은 악성 curl 명령어를 구성함으로써 바이너리 해킹 과제에서 플래그를 확보할 수 있었다.
• LLM이 생성한 솔루션은 종종 참가자가 기초가 되는 보안 개념을 이해하지 못한 채 과제를 완수하게 하여 학업 정직성 문제를 제기한다.