[논문 리뷰] Current state of LLM Risks and AI Guardrails

Suriya Ganesh Ayyamperumal, Ge, Limin|arXiv (Cornell University)|2024. 06. 16.

Risk and Safety Analysis인용 수 14

한 줄 요약

대형 언어 모델의 위험(편향, 안전, 프라이버시, 환각, 재현 불가능성)을 조사하고 현재 가드레일 및 모델 정렬 접근법을 분석하며, 계층적 보호 프레임워크와 오픈 소스 도구의 역할을 제안한다.

ABSTRACT

Large language models (LLMs) have become increasingly sophisticated, leading to widespread deployment in sensitive applications where safety and reliability are paramount. However, LLMs have inherent risks accompanying them, including bias, potential for unsafe actions, dataset poisoning, lack of explainability, hallucinations, and non-reproducibility. These risks necessitate the development of "guardrails" to align LLMs with desired behaviors and mitigate potential harm. This work explores the risks associated with deploying LLMs and evaluates current approaches to implementing guardrails and model alignment techniques. We examine intrinsic and extrinsic bias evaluation methods and discuss the importance of fairness metrics for responsible AI development. The safety and reliability of agentic LLMs (those capable of real-world actions) are explored, emphasizing the need for testability, fail-safes, and situational awareness. Technical strategies for securing LLMs are presented, including a layered protection model operating at external, secondary, and internal levels. System prompts, Retrieval-Augmented Generation (RAG) architectures, and techniques to minimize bias and protect privacy are highlighted. Effective guardrail design requires a deep understanding of the LLM's intended use case, relevant regulations, and ethical considerations. Striking a balance between competing requirements, such as accuracy and privacy, remains an ongoing challenge. This work underscores the importance of continuous research and development to ensure the safe and responsible use of LLMs in real-world applications.

연구 동기 및 목표

• 대형 언어 모델을 배치하는 데 따른 위험 노출을 열거한다.
• 가드레일과 모델 정렬의 현재 기술적/구현상의 과제를 평가한다.
• 편향, 공정성, 안전성 및 설명가능성에 대한 평가 방법을 논의한다.
• 외부, 보조, 내부 수준에 걸쳐 LLM 배치를 보호하기 위한 계층화된 보호 모델을 제안한다.
• 가드레일 지원 도구의 시스템 프롬트, RAG 아키텍처 및 개방성의 역할을 강조한다.

제안 방법

• 내재적 및 외재적 편향 평가 방법을 검토한다.
• 테스트 가능성 및 안전장치를 포함한 대리적(에이전트형) LLM 안전을 논의한다.
• GateKeeper, Knowledge Anchor, 및 Parametric 계층을 갖는 계층화된 보호 모델을 제시한다.
• 시스템 프롬프트, RAG 및 편향 완화 기법을 통해 가드레일을 기술한다.
• 오픈 소스 가드레일 도구와 그 접근법을 요약한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델 배포와 관련된 주요 위험은 무엇인가?
• RQ2 현재의 가드레일 및 모델 정렬 접근법은 무엇이며, 보호의 다양한 계층에서 얼마나 효과적인가?
• RQ3 편향, 공정성, 안전성 및 신뢰성에 대한 평가 지표를 LLM 가드레일에 어떻게 구조화할 수 있는가?
• RQ4 가드레일 설계에서 유연성, 안전성 및 비용의 균형을 맞추는 데 남은 과제는 무엇인가?

주요 결과

• LLMs는 편향, 안전 위험, 환각, 프라이버시 문제 및 재현 불가능성을 보인다.
• 가드레일은 외부, 보조 및 내부 수준에 걸친 계층화된 보호 모델을 통해 구현된다.
• 시스템 프롬프트, 검색 증강 생성(RAG), 및 편향 완화가 핵심 가드레일 기법이다.
• 공정성 지표와 책임 있는 AI 고려사항은 편향 및 데이터 세트를 평가하는 데 결정적이다.
• 오픈 소스 도구(Nemo-Guardrails, LlamaGuard, Guardrails AI)는 비용과 편향 문제에도 불구하고 가드레일에 대한 다양한 DSL 및 평가 전략을 제공한다.
• 유연성와 안전성, 테스트 가능성 및 실제 비용 간의 최적 균형을 달성하는 데 여전히 과제가 남아 있다.