[논문 리뷰] SecQA: A Concise Question-Answering Dataset for Evaluating Large Language Models in Computer Security

Zefang Liu|arXiv (Cornell University)|2023. 12. 26.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 GPT-4를 사용하여 교재 'Computer Systems Security: Planning for Success' 로부터 유도된 전문화된 다중 선택 질문-답변 데이터셋인 SecQA를 소개한다. 이는 대규모 언어 모델(Large Language Models, LLMs)의 컴퓨터 보안 분야 성능 평가를 목적으로 하며, 기본 개념을 다루는 v1과 더 복잡하고 세밀한 주제를 다루는 v2의 두 가지 버전을 포함한다. 주요 결과로는 GPT-4가 5-shot 설정에서 SecQA v1에서 거의 완벽한 정확도(100%)를 달성한 반면, Llama-2나 Vicuna와 같은 오픈소스 모델들은 상당히 낮은 성능을 보여, 도메인 특화 미세조정의 필요성과 이 벤치마크가 모델의 한계를 파악하는 데 기여할 수 있음을 시사한다.

ABSTRACT

In this paper, we introduce SecQA, a novel dataset tailored for evaluating the performance of Large Language Models (LLMs) in the domain of computer security. Utilizing multiple-choice questions generated by GPT-4 based on the "Computer Systems Security: Planning for Success" textbook, SecQA aims to assess LLMs' understanding and application of security principles. We detail the structure and intent of SecQA, which includes two versions of increasing complexity, to provide a concise evaluation across various difficulty levels. Additionally, we present an extensive evaluation of prominent LLMs, including GPT-3.5-Turbo, GPT-4, Llama-2, Vicuna, Mistral, and Zephyr models, using both 0-shot and 5-shot learning settings. Our results, encapsulated in the SecQA v1 and v2 datasets, highlight the varying capabilities and limitations of these models in the computer security context. This study not only offers insights into the current state of LLMs in understanding security-related content but also establishes SecQA as a benchmark for future advancements in this critical research area.

연구 동기 및 목표

• 컴퓨터 보안 분야에서 LLM 평가를 위한 전문화된 벤치마크의 부족, 특히 세밀하고 도메인 특화된 지식에 대한 평가 부족 문제를 해결하기 위해.
• 실제 보안 원칙과 과제를 반영하면서도 간결하면서도 종합적인 데이터셋을 구축하기 위해.
• 폐쇄형(GPT-3.5-Turbo, GPT-4)과 오픈소스형(Llama-2, Vicuna, Mistral, Zephyr) 모델을 포함한 주요 LLM의 보안 관련 추론 작업 수행 능력을 평가하기 위해.
• 향후 연구를 위한 재현 가능한 벤치마크를 구축하여 보안 응용 분야에서 LLM의 체계적 평가 및 향상 가능성을 확보하기 위해.
• 특히 복잡한 보안 주제에서 오픈소스 모델의 성능 격차를 파악하고, 향후 도메인 특화 모델 개발을 이끌기 위해.

제안 방법

• GPT-4를 활용해 교재 'Computer Systems Security: Planning for Success' 의 내용을 바탕으로 다중 선택 질문을 생성하여 도메인 정확성과 관련성을 확보함.
• 데이터셋을 두 가지 버전으로 구조화함: 기본 보안 원칙을 다루는 SecQA v1과 더 복잡하고 세밀한 주제를 다루는 SecQA v2.
• 미세조정 없이도 실세계 배포 시나리오를 시뮬레이션하기 위해 0-shot 및 소수의 예시를 사용하는 5-shot 추론 설정을 적용함.
• 모델 간 평가의 표준화와 재현 가능성을 확보하기 위해 언어 모델 평가 허브 프레임워크를 사용함.
• GPT-3.5-Turbo, GPT-4, Llama-2, Vicuna, Mistral, Zephyr 등을 포함한 다양한 LLM을 선별하여 모델 아키텍처와 크기의 다양성을 반영해 성능 평가를 수행함.
• 정확도를 주요 지표로 사용하여 보안 특화 콘텐츠에서의 이해력과 추론 능력 간 직접 비교가 가능하도록 함.

실험 결과

연구 질문

• RQ1 주요 LLM은 다중 선택 질문을 통해 테스트된 기초 컴퓨터 보안 원칙을 얼마나 잘 이해하고 적용하는가?
• RQ2 SecQA v2의 더 복잡하고 세밀한 보안 주제에 대해 LLM은 SecQA v1의 단순한 주제보다 얼마나 잘 일반화하는가?
• RQ3 5-shot 프롬프팅은 0-shot 추론에 비해 보안 추론 작업에서 LLM의 성능을 얼마나 향상시키는가?
• RQ4 폐쇄형 모델과 오픈소스 모델 간의 컴퓨터 보안 지식 분야에서의 성능 격차는 어느 정도인가?
• RQ5 SecQA는 보안 핵심 분야에서 LLM의 평가 및 향후 개발을 이끄는 신뢰할 수 있고 확장 가능한 벤치마크로 기능할 수 있는가?

주요 결과

• GPT-4는 5-shot 설정에서 SecQA v1에서 100%의 정확도를 기록하여 기초 보안 개념에 대한 강력한 이해를 보였다.
• 더 복잡하고 세밀한 질문을 포함한 SecQA v2에서 GPT-4는 0-shot 및 5-shot 설정 모두에서 98.0%의 정확도를 기록하여 높은 강건성을 보였지만, 고급 모델에 대한 데이터셋 난이도에 대한 우려를 제기했다.
• 오픈소스 모델인 Llama-2-13B-Chat는 SecQA v1에서 0-shot일 경우 49.1%에서 5-shot일 경우 89.1%로 성능 향상을 보였으며, 이는 소수의 예시에 대한 강력한 적응 능력을 보였지만 여전히 기초 이해력에 한계가 있음을 시사했다.
• Vicuna-7B-v1.5는 5-shot 설정에서 SecQA v1에서 단지 30.9%의 점수를 기록하여 강력한 일반 언어 능력에도 불구하고 보안 주제에 대한 추론 능력에 심각한 한계가 있음을 드러냈다.
• Mistral-7B-Instruct-v0.2와 Zephyr-7B-Beta는 두 버전 모두에서 뛰어난 성능을 보였으며, Zephyr-7B-Beta는 5-shot 설정에서 SecQA v1에서 92.7%의 정확도를 기록하여 작은 오픈소스 모델의 강력한 소수 예시 일반화 능력을 보여주었다.
• GPT-4와 오픈소스 모델 간의 SecQA v2에서의 성능 격차는 도메인 특화 미세조정의 필요성과 보안 특화 추론을 위한 벤치마크의 중요성을 강조한다.