[논문 리뷰] Chatbots to ChatGPT in a Cybersecurity Space: Evolution, Vulnerabilities, Attacks, Challenges, and Future Recommendations

Attia Qammar, Hongmei Wang외 4명|arXiv (Cornell University)|2023. 05. 29.

Advanced Malware Detection Techniques인용 수 20

한 줄 요약

본 논문은 챗봇이 ChatGPT까지 진화하는 과정을 조사하고, 챗봇( ChatGPT 포함)에 대한 사이버보안 취약점과 공격을 분석하며, 방어책 및 향후 방향에 대해 논의한다.

ABSTRACT

Chatbots shifted from rule-based to artificial intelligence techniques and gained traction in medicine, shopping, customer services, food delivery, education, and research. OpenAI developed ChatGPT blizzard on the Internet as it crossed one million users within five days of its launch. However, with the enhanced popularity, chatbots experienced cybersecurity threats and vulnerabilities. This paper discussed the relevant literature, reports, and explanatory incident attacks generated against chatbots. Our initial point is to explore the timeline of chatbots from ELIZA (an early natural language processing computer program) to GPT-4 and provide the working mechanism of ChatGPT. Subsequently, we explored the cybersecurity attacks and vulnerabilities in chatbots. Besides, we investigated the ChatGPT, specifically in the context of creating the malware code, phishing emails, undetectable zero-day attacks, and generation of macros and LOLBINs. Furthermore, the history of cyberattacks and vulnerabilities exploited by cybercriminals are discussed, particularly considering the risk and vulnerabilities in ChatGPT. Addressing these threats and vulnerabilities requires specific strategies and measures to reduce the harmful consequences. Therefore, the future directions to address the challenges were presented.

연구 동기 및 목표

• ELIZA에서 GPT-4에 이르는 챗봇의 역사적 발전 과정을 추적하고 ChatGPT의 작동 메커니즘을 설명한다.
• 클라이언트, 네트워크, 응답 생성, 데이터베이스 등 챗봇 모듈 전반에 걸친 사이버보안 위협과 취약점을 식별한다.
• 악성 코드 생성, 피싱, 제로데이 공격, LOLBINs 등의 공격적 사이버 활동의 사례 연구로서 ChatGPT를 고찰한다.
• 챗봇에 대한 사이버공격의 역사를 요약하고 완화에 대한 도전과 향후 방향을 논의한다.

제안 방법

• 챗봇 사이버보안과 관련된 기존 문헌, 사건 보고서, 사례를 검토하고 종합한다.
• SFT, 보상 모델링, PPO를 포함한 ChatGPT 및 GPT 시리즈의 작동 메커니즘을 설명한다.
• 챗봇 모듈별로 공격과 취약점을 분류하고 제안된 대응책을 제시한다.
• 악성 코드 생성, 피싱 이메일, 그리고 LOLBINs을 생성하는 데 사용된 ChatGPT의 사례 연구를 제시한다.

실험 결과

연구 질문

• RQ1 ELIZA에서 GPT-4로의 진화 궤적은 무엇이며 이 계통에서 ChatGPT가 어떻게 작동하는가?
• RQ2 챗봇 아키텍처에 영향을 주는 사이버보안 위협과 취약점은 무엇이며, 공격자들이 특히 ChatGPT를 어떻게 악용해 왔는가?
• RQ3 ChatGPT의 악용 사례를 포함하여 챗봇 관련 사이버 위협을 완화할 수 있는 방어 전략과 향후 방향은 무엇인가?
• RQ4 역사적 챗봇 사이버공격은 현재의 위험 평가 및 완화 실무에 어떤 정보를 제공하는가?

주요 결과

• 챗봇은 규칙 기반 시스템에서 AI 구동 모델(생성형 및 검색 기반)으로 진화했고, GPT-3/4 아키텍처를 기반으로 한 ChatGPT에 이르렀다.
• 챗봇 사이버 위협은 클라이언트, 네트워크, 응답 생성, 데이터베이스 모듈에 걸쳐 있으며 여러 공격 벡터와 대응책이 요약되어 있다.
• 특정 제약 하에서 ChatGPT는 악성 코드 생성, 피싱 이메일, 탐지 불가 제로데이 기법 및 LOLBINs를 생성하는 데 사용될 수 있어 이중 용도 위험을 강조한다.
• 역사적 챗봇 공격과 취약점은 지속적인 문제를 조명하며 표적화된 대응책과 거버넌스의 필요성을 시사한다.
• 미래 방향은 유해한 결과를 감소시키면서 유익한 챗봇 기능을 보존하기 위한 전략, 도구, 정책적 조치를 강조한다.