[논문 리뷰] Fundamentals of Generative Large Language Models and Perspectives in Cyber-Defense

Andrei Kucharavy, Z. M. Schillaci외 7명|arXiv (Cornell University)|2023. 03. 21.

Artificial Intelligence in Healthcare and Education인용 수 23

한 줄 요약

이 논문은 제너레이티브 언어 모델의 역사, 원칙, 능력, 한계, 위협 및 방어 전략에 대해 고찰하며, 스위스 작전 환경에서의 사이버 방어 함의에 초점을 맞추고 향후 전망을 논의한다.

ABSTRACT

Generative Language Models gained significant attention in late 2022 / early 2023, notably with the introduction of models refined to act consistently with users' expectations of interactions with AI (conversational models). Arguably the focal point of public attention has been such a refinement of the GPT3 model -- the ChatGPT and its subsequent integration with auxiliary capabilities, including search as part of Microsoft Bing. Despite extensive prior research invested in their development, their performance and applicability to a range of daily tasks remained unclear and niche. However, their wider utilization without a requirement for technical expertise, made in large part possible through conversational fine-tuning, revealed the extent of their true capabilities in a real-world environment. This has garnered both public excitement for their potential applications and concerns about their capabilities and potential malicious uses. This review aims to provide a brief overview of the history, state of the art, and implications of Generative Language Models in terms of their principles, abilities, limitations, and future prospects -- especially in the context of cyber-defense, with a focus on the Swiss operational environment.

연구 동기 및 목표

• 소프트 어텐션 기반 생성형 LLM의 역사와 핵심 원칙, 그리고 그것들의 진화 요약.
• GPT-계열 및 다른 기본 LLM의 능력, 한계 및 나타나는 행동을 평가.
• 국가/조직 방어 맥락, 특히 스위스와 관련된 사이버 보안 위협 및 보호 완화책 개요.
• 사이버방어 환경에서 LLM의 배치, 모니터링 및 거버넌스에 대한 실용적 고려사항 강조.

제안 방법

• 트랜스포머 기반 LLM의 진화와 RNN에서 어텐션 메커니즘으로의 전환을 조사.
• 자기회귀와 자동인코딩 학습 패러다임을 특징화하고 그것의 생성 대 이해에 대한 함의를 설명.
• 샘플링 전략(최대 가능도, 빔 서치, Top-K, Top-p)과 출력 다양성 및 품질에 미치는 영향을 설명.
• 안전한 출력을 위한 필터링 전략(미세 조정, 가이드 샘플링, 암시적 프롬프트, 자체 가이던스 생성)을 논의.
• 기억화 대 일반화 및 보안 고려사항으로서의 모델 레드팀핑을 설명.
• GPT-계열 계보(GPT-1에서 GPT-3.5) 및 BingGPT/GPT-4 개발과 사이버 방어에 대한 시사점을 요약.

실험 결과

연구 질문

• RQ1 현대 생성형 LLM의 기초 원리와 역사적 이정표는 무엇인가?
• RQ2 GPT-계열 및 관련 LLM의 핵심 능력과 한계는 무엇이며, 이것이 사이버 방어 사용 사례에 어떤 영향을 미치는가?
• RQ3 LLM이 사이버 보안 맥락에서 야기하는 위협 및 공격 벡터는 무엇이며 어떤 완화 전략이 효과적인가?
• RQ4 스위스/사이버 방어 환경에서의 LLM 배치를 위한 방어-깊이(defense-in-depth), 거버넌스 및 운영 관행은 어떻게 설계되어야 하는가?
• RQ5 생성형 LLM의 근시적 개발 및 채택 경로는 무엇이 타당한가?

주요 결과

• LLMs 운영은 연속 임베딩 공간에서 이루어지며 이산 단어보다는 확률적 토큰 궤도에 의존한다.
• Transformer 기반 아키텍처는 전면 병렬 학습을 가능하게 하며 모델 크기와 데이터 사용의 기하급수적 증가를 주도했다.
• 샘플링 전략(top-p, top-K)은 다양성과 일관성의 균형을 맞추고 출력 악화를 완화할 수 있다.
• 완화책으로는 안전 목표를 가진 미세 조정, 비평가-유도 샘플링, 바람직하지 않은 콘텐츠를 피하도록 프롬프트를 선행시키는 샘플링이 있다.
• 기억화 대 일반화는 여전히 중요한 문제이며, 학습 데이터가 기억될 수 있으며 완전히 신뢰할 수 없다고 간주해야 한다.
• BingGPT/GPT-4는 검색 및 다중 모달 처리와 같은 보조 기능을 도입하여 순수한 자기회귀 생성에서 도구-강화 추론으로의 전환을 나타낸다.