[논문 리뷰] LLMs for Cyber Security: New Opportunities

Dinil Mon Divakaran, Sai Teja Peddinti|arXiv (Cornell University)|2024. 04. 17.

Law, AI, and Intellectual Property인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 자동화된 취약점 탐지, 패치 적용, 피싱 방어 및 콘텐츠 모니터링을 통해 사이버보안을 혁신할 수 있는 방법을 탐구한다. LLMs가 버그 수정과 같은 보안 작업을 12분 이내로 가속화할 수 있음을 입증하며, 동시에 프롬프트 인젝션 및 악성 공격과 같은 위험 요소도 제기하고, LLM 배포를 안전하게 하기 위해 레드팀 테스트와 워터마킹을 권장한다.

ABSTRACT

Large language models (LLMs) are a class of powerful and versatile models that are beneficial to many industries. With the emergence of LLMs, we take a fresh look at cyber security, specifically exploring and summarizing the potential of LLMs in addressing challenging problems in the security and safety domains.

연구 동기 및 목표

• 소프트웨어 취약점, 피싱, 콘텐츠 모니터링과 같은 지속적인 사이버보안 과제를 해결하는 데 있어 LLMs의 전환적 잠재력을 검토하기 위해.
• 실제 시스템에서 코드 수리, 악용 탐지, 보안 강화와 같은 작업을 자동화하는 데 있어 LLMs의 효과성을 평가하기 위해.
• 프롬프트 인젝션 및 악성 프롬프트와 같은 새로운 위협 요소를 규명하고, 이를 완화하기 위한 전략을 제안하기 위해.
• 경험이 적은 전문가들에게도 사이버보안 전문 지식을 보다 널리 보급할 수 있는 LLMs의 역할을 평가하기 위해.
• 고위험 환경에서 LLM 배포를 안전하게 하기 위해 통합된 레드팀 테스트, 안전 프레임워크 및 워터마킹을 적극적으로 추진하기 위해.

제안 방법

• 보안 관련 작업에 대해 GPT-4, Gemini, Llama 2와 같은 사전학습된 LLMs를 사용하여 zero-shot 또는 few-shot 추론을 수행하기 위해.
• 표시된 보안 데이터셋에 대해 LLMs를 미세조정하여 취약점 탐지 및 악용 생성 성능을 향상시키기 위해.
• 실시간 위협 지능 및 시스템 로그에 기반한 LLM 출력을 정합하기 위해 검색 기반 생성(Retrieval-Augmented Generation, RAG)을 활용하기 위해.
• ML 기반 보안 검출기의 강건성을 향상시키기 위해 LLM이 생성한 악성 공격 예제를 사용해 적대적 훈련을 수행하기 위해.
• 모델 추론 이전에 악성 입력을 걸러내기 위해 LLM 방화벽과 프롬프트 인젝션 탐지기 설계하기 위해.
• 딥페이크 남용을 줄이기 위해 AI 생성 콘텐츠를 추적하고 식별할 수 있도록 워터마킹 기법(예: Kirchenbauer 등)을 적용하기 위해.

실험 결과

연구 질문

• RQ1 LLMs는 인간 개발자와 비교해 성능이 유사하거나 뛰어나게 소프트웨어 취약점을 효과적으로 탐지하고 자동으로 패치 적용할 수 있는가?
• RQ2 경험이 적은 보안 전문가가 많은 조직의 보안 수준에 LLMs가 어떤 영향을 미치는가? 특히 취약점 관리 및 사고 대응 측면에서.
• RQ3 LLMs는 어느 정도까지 프롬프트 인젝션 또는 악성 프롬프트를 통해 악용될 수 있으며, 이를 방지하기 위한 방어 조치는 어떻게 강화할 수 있는가?
• RQ4 LLM 수명 주기 전반에 걸쳐 LLMs가 레드팀 테스트 및 위협 시뮬레이션을 자동화하는 데 어떤 역할을 하는가?
• RQ5 워터마킹 및 기원 추적 기술은 LLM 출력에 어떻게 통합되어 사이버 공격에서의 오용을 방지할 수 있는가?

주요 결과

• AutoCodeRover와 같은 LLMs는 각각 12분 이내로 67개의 GitHub 보안 이슈를 해결하여, 평균 2일 이상 소요된 인간 개발자보다 뛰어난 성능을 보였다.
• Gemini는 Google 내부 보안 팀이 발견한 버그의 15%를 수리하는 데 기여하여 실제 패치 워크플로우에서 측정 가능한 영향을 입증했다.
• 실험적 연구 결과, AI 코드 보조 도구는 인간 개발자보다 더 적은 수의 취약점을 유발하는 것으로 나타났으며, 사용자 연구 결과에서도 LLM 보조 프로그래밍의 보안 위험은 낮은 것으로 확인되었다.
• LLM이 생성한 적대적 예제는 적대적 훈련을 통해 ML 기반 피싱 검출기의 강건성을 향상시키는 데 활용될 수 있다.
• 안전성에 맞춰 조정된 LLMs를 대상으로도 프롬프트 인젝션 공격은 여전히 심각한 위협으로 남아 있으며, 이는 지속적인 레드팀 테스트와 입력 필터링의 필요성을 강조한다.
• Kirchenbauer 등이 제안한 워터마킹 프레임워크는 극히 낮은 가짜 경고 비율을 유지하면서 LLM 생성 텍스트를 탐지할 수 있어, 딥페이크 남용에 대한 실현 가능한 방어 수단이 된다.