[논문 리뷰] HoneyGPT: Breaking the Trilemma in Terminal Honeypots with Large Language Model

Ziyang Wang, Jianzhou You외 5명|arXiv (Cornell University)|2024. 06. 04.

Topic Modeling인용 수 5

한 줄 요약

HoneyGPT는 ChatGPT 기반 터미널 허니팟과 프롬프트 프레임워크 및 Chain of Thought를 사용하여 terminal honeypots의 유연성, 상호 작용 깊이, 기만성의 전통적 삼중제약을 능가하며, baseline 및 four-week field evaluations로 검증되었습니다.

ABSTRACT

Honeypots, as a strategic cyber-deception mechanism designed to emulate authentic interactions and bait unauthorized entities, often struggle with balancing flexibility, interaction depth, and deception. They typically fail to adapt to evolving attacker tactics, with limited engagement and information gathering. Fortunately, the emergent capabilities of large language models and innovative prompt-based engineering offer a transformative shift in honeypot technologies. This paper introduces HoneyGPT, a pioneering shell honeypot architecture based on ChatGPT, characterized by its cost-effectiveness and proactive engagement. In particular, we propose a structured prompt engineering framework that incorporates chain-of-thought tactics to improve long-term memory and robust security analytics, enhancing deception and engagement. Our evaluation of HoneyGPT comprises a baseline comparison based on a collected dataset and a three-month field evaluation. The baseline comparison demonstrates HoneyGPT's remarkable ability to strike a balance among flexibility, interaction depth, and deceptive capability. The field evaluation further validates HoneyGPT's superior performance in engaging attackers more deeply and capturing a wider array of novel attack vectors.

연구 동기 및 목표

• 공격자의 전술에 적응할 수 있는 보다 동적이고 지능적인 터미널 허니팟 개발을 고무한다.
• 상호 작용에서 추론을 향상시키기 위한 보편적 허니팟 프롬프트 키워드 명세 및 Chain of Thought 기반 전략을 제안한다.
• 장기 상호작용 메모리와 강력한 보안 분석을 유지하는 Prompt Manager를 갖춘 HoneyGPT를 설계하고 구현한다.
• 오픈 소스 데이터와 현실적 현장 배치를 사용하여 기만, 상호작용 및 유연성을 평가하기 위해 전통적 허니팟에 대해 HoneyGPT를 평가한다.

제안 방법

• 전통적인 요청-응답 상호작용을 ChatGPT 기반 질문-답변 루프로 교체하여 HoneyGPT를 개발한다.
• Terminal Protocol Proxy, Prompt Manager, ChatGPT의 3 구성 프레임워크를 도입한다; SSH/Telnet용 Cowrie의 프로토콜 계층을 활용하고 ChatGPT에 응답을 요청한다.
• Honeypot Principles, Settings, Attack Queries, System State Register, History of Interaction을 사용해 프롬프트를 구성하는 Prompt Manager를 구현하고 맥락 길이에 맞추기 위한 가지치기 전략을 포함한다.
• Chain of Thought 전략을 도입하여 공격자 명령이 OS에 미치는 영향을 분석하고 지속적인 추론을 위한 시스템 상태 변화(C_i, F_i)를 생성한다.
• Impact Factor(F_i)와 Weaken Factor(w)를 통한 상호작용 점수를 매겨 가장 중요도가 낮은 과거 항목을 제거하는 Prompt Pruning 메커니즘을 적용해 맥락 관련성을 보존한다.
• 운영의 안정성과 사실성을 위해 정적 System Principles(P)와 Honeypot Settings(S)을 구성한다.

실험 결과

연구 질문

• RQ1 HoneyGPT가 LLM 기반 프롬프트를 사용해 터미널 허니팟의 유연성, 상호 작용 깊이, 기만성의 삼중제약을 극복할 수 있는가?
• RQ2 Chain of Thought 전략과 동적 프롬프트 관리가 전통적 허니팟에 비해 장기 상호작용 기억과 공격자 참여를 향상시키는가?
• RQ3 HoneyGPT는 재생 및 실시간 트래픽 하에서 기만, 상호작용 수준, 유연성에서 기준 오픈 소스 허니팟과 비교하여 어떤 성능을 보이는가?
• RQ4 4주 간의 인터넷 배치에서 HoneyGPT가 Cowrie와 비교해 어떤 공격 벡터와 상호작용 길이를 포착하는가?
• RQ5 실제 네트워크에서 LLM 구동 허니팟 배치를 위한 실용적 한계 및 구성은 무엇인가?

주요 결과

• Baseline 평가에서 HoneyGPT는 동일한 공격 데이터 세트를 사용하는 전통적 허니팟보다 유연성, 상호 작용 깊이 및 기만성을 더 잘 균형 있게 다룬다.
• 4주 간의 현장 배치는 HoneyGPT가 공격자를 더 길고 복잡한 상호 작용으로 이끄는 경향이 있으며 Cowrie보다 더 넓은 공격 벡터를 포착한다.
• 메모리 가지치기가 포함된 프롬프팅 프레임워크는 추론에 유용한 맥락을 유지하면서 맥락 길이를 효과적으로 관리한다.
• Chain of Thought의 사용은 HoneyGPT가 write-elevate-execute와 같은 확장된 다중 명령 공격 시퀀스를 비-CoT 접근법보다 더 효과적으로 처리하게 한다.
• HoneyGPT는 실전 테스트에서 시뮬레이션된 또는 실제 시스템 허니팟에 비해 더 높은 참여도와 풍부한 상호작용 경로를 보인다.