[논문 리뷰] Validating Large Language Models with ReLM

Michael Kuchnik, Virginia Smith외 1명|arXiv (Cornell University)|2022. 11. 21.

Natural Language Processing Techniques인용 수 8

한 줄 요약

ReLM은 정규 표현식을 사용하여 구조화된 언어 패턴을 쿼리함으로써 대규모 언어 모델(Large Language Models, LLMs)의 체계적 검증을 가능하게 하는 새로운 프레임워크이다. 정규 표현식 패턴을 LLM에서 실행 가능한 표현으로 컴파일하여, ReLM은 즉각적인 쿼리 방법보다 최대 15배 높은 효율성과 2.5배 높은 데이터 효율성을 달성하며, 암기, 편향, 독성, 지식 정확성 등을 탐지하기 위한 확장성 있고 일반적인 기반을 제공한다.

ABSTRACT

Although large language models (LLMs) have been touted for their ability to generate natural-sounding text, there are growing concerns around possible negative effects of LLMs such as data memorization, bias, and inappropriate language. Unfortunately, the complexity and generation capacities of LLMs make validating (and correcting) such concerns difficult. In this work, we introduce ReLM, a system for validating and querying LLMs using standard regular expressions. ReLM formalizes and enables a broad range of language model evaluations, reducing complex evaluation rules to simple regular expression queries. Our results exploring queries surrounding memorization, gender bias, toxicity, and language understanding show that ReLM achieves up to 15x higher system efficiency, 2.5x data efficiency, and increased statistical and prompt-tuning coverage compared to state-of-the-art ad-hoc queries. ReLM offers a competitive and general baseline for the increasingly important problem of LLM validation.

연구 동기 및 목표

• 암기, 편향, 독성과 같은 LLM 행동을 체계적이고 확장성 있고 유지보수 가능한 방법으로 검증할 수 있는 방법의 부족을 해결하기 위해.
• 유지보수 및 확장이 어려운 코드 기반의 비구조적 테스트 프레임워크에 대한 의존도를 줄이기 위해.
• 테스트 논리를 정규 표현식으로 형식화하여 LLM의 정밀하고 구조화된 평가를 가능하게 하기 위해.
• 모델 미세조정이나 복잡한 프롬프트 엔지니어링 없이도 효율성과 커버리지 향상을 위해 LLM 검증을 향상시키기 위해.
• 다양한 언어 패턴을 지원하는 일반적인 기반, 쿼리 기반 인터페이스를 제공하여 LLM 평가를 가능하게 하기 위해.

제안 방법

• ReLM은 사용자가 제공한 정규 표현식을 대상 문자열 공간의 결정성 유한 오토마타(Deterministic Finite Automaton, DFA) 표현으로 컴파일한다.
• DFA는 LLM의 자동회귀 디코딩 프로세스와 통합되는 모델 전용 실행 그래프로 컴파일된다.
• 추론 중에 ReLM은 정규 표현식 패턴에 부합하는 문자열만 생성하도록 강제하여 잘못된 또는 예상치 못한 출력을 방지한다.
• 시스템은 유사도 기반 점수화 및 순위 매기기를 지원하여 정확성과 선호도 평가를 가능하게 한다.
• ReLM은 정규 표현식 쿼리에 작업 제약 조건을 직접 삽입함으로써 프롬프트 테이닝 없이도 제로샷 평가를 가능하게 하여 정확도를 향상시킨다.
• 다양한 평가 작업을 정규 표현식 패턴으로 매핑함으로써 기능을 지원한다: 예를 들어 지식 작업에는 날짜 형식을, 편향 작업에는 단어 공존 패턴을, 독성 작업에는 독성 단어 패턴을 사용한다.

실험 결과

연구 질문

• RQ1 정규 표현식을 사용하여 특정 언어적 행동을 체계적이고 효율적으로 대규모 언어 모델에 쿼리할 수 있는가?
• RQ2 ReLM은 즉각적인 쿼리 방법에 비해 시스템 효율성, 데이터 효율성, 커버리지 측면에서 어떻게 비교되는가?
• RQ3 정규 표현식 기반 쿼리가 LLM 평가 작업의 제로샷 성능을 얼마나 향상시킬 수 있는가?
• RQ4 기존 방법보다 ReLM이 암기, 편향, 독성을 더 정밀하게 탐지하고, 거짓 양성/거짓 음성 비율을 낮출 수 있는가?
• RQ5 ReLM의 쿼리 인터페이스는 지식, 편향, 독성과 같은 다양한 평가 작업에 어떻게 스케일링되는가?

주요 결과

• ReLM은 최신 즉각적 쿼리 방법에 비해 LLM 평가에서 최대 15배 높은 시스템 효율성을 달성한다.
• 데이터 효율성을 최대 2.5배 향상시켜 동일한 평가 작업에 필요한 추론 토큰 수를 줄였다.
• ReLM은 통계적 및 프롬프트 테이닝 커버리지를 증가시켜 LLM 행동에 대한 보다 종합적인 평가를 가능하게 한다.
• 제로샷 LAMBADA 평가에서, ReLM은 정규 표현식 기반 쿼리 제약 조건을 통해 기준 프롬프트보다 정확도를 최대 30점 향상시켰다.
• 조지 워싱턴의 생일에 대해, ReLM은 GPT-2XL에서 표준 닫힌 선택 설정에서 실패한 모델과 달리, 정확한 날짜를 상위 10개 예측에 정확히 포함시켰다.
• ReLM의 접근 방식은 자유형 응답이나 다중 선택 형식과 달리, 정규 표현식을 통한 구조화된 출력 강제 조건을 통해 거짓 양성 및 거짓 음성 비율을 감소시켰다.