[논문 리뷰] Rare Event Analysis of Large Language Models

Jake McAllister Dorman, Edward Gillman외 3명|arXiv (Cornell University)|2026. 02. 06.

Topic Modeling인용 수 0

한 줄 요약

이 논문은 LLMs를 위한 엔드 투 엔드 희귀 이벤트 분석(REA) 프레임워크를 제시하며, MBAR, TPS, 우산 샘플링 등 희귀 이벤트 샘플링 방법을 사용해 희귀 완성의 확률을 추정하고 TinyStories-8M을 사례 연구로 그 특성을 탐구한다.

ABSTRACT

Being probabilistic models, during inference large language models (LLMs) display rare events: behaviour that is far from typical but highly significant. By definition all rare events are hard to see, but the enormous scale of LLM usage means that events completely unobserved during development are likely to become prominent in deployment. Here we present an end-to-end framework for the systematic analysis of rare events in LLMs. We provide a practical implementation spanning theory, efficient generation strategies, probability estimation and error analysis, which we illustrate with concrete examples. We outline extensions and applications to other models and contexts, highlighting the generality of the concepts and techniques presented here.

연구 동기 및 목표

• LLM에서의 희귀 이벤트를 정의하고 배포 및 안전에 대한 중요성을 설명한다.
• 확률적 모델링, 샘플링, 확률 추정 및 탐색에 이르는 엔드투엔드 REA 프레임워크를 개발한다.
• ARI 및 Log-Prob 관찰 가능성에 초점을 맞춰 TinyStories-8M에서 REA를 시연한다.
• 실용적인 구현 가이드를 제공하고 더 큰 모델 및 기타 맥락으로의 확장에 대해 논의한다.

제안 방법

• LLM 완성을 AR(1) 스타일의 확률 구조를 갖는 확률적 궤적으로 모델링한다.
• 중요한 샘플링과 biased distributions p* 및 혼합 분포 pMix*를 사용한 우산 샘플링으로 효율적인 희귀 이벤트 샘플링을 수행한다.
• 지수 기울임 p_λ(x)=Z(λ)^{-1} e^{-λφ(x)} pM(x) 를 적용해 희귀 이벤트를 표적으로 하고 분할 함수 Z(λ)을 추정한다.
• 다수의 편향 분포에서 얻은 샘플과 직접 샘플링을 결합하기 위해 MBAR를 활용하여 강건한 확률 추정치를 얻는다.
• 어닐링 일정과 함께 Transition Path Sampling (TPS)을 사용해 희귀 완성을 탐색하는 궤적을 생성한다.
• 추정 수렴성과 신뢰 구간을 평가하기 위해 부트스트랩과 Gelman–Rubin 진단을 수행한다.

Figure 1 : (a) Text generation : Shown is a single “trace” of the text produced by the TPS text generation process. The prompt (orange) remains fixed throughout, while the completion (blue) varies. At each step an edit to the completion is proposed that is either accepted (green), or rejected (red),

실험 결과

연구 질문

• RQ1 주어진 프롬프트하에서 두 관찰가능치(ARI 및 Log-Prob)를 고려할 때 희귀한 LLM 완성의 가능성은 얼마나 되는가?
• RQ2 이러한 희귀 이벤트의 특성과 구조는 무엇이며 분석을 위해 어떻게 효율적으로 접근할 수 있는가?
• RQ3 편향 샘플링과 MBAR 재구성이 직접 샘플링 능력을 넘어 꼬리 확률을 어떻게 정량화할 수 있는가?
• RQ4 희귀 완성이 모델 동작 및 잠재적 정렬(alignment) 또는 안전 이슈에 대해 어떤 통찰을 제공할 수 있는가?

주요 결과

• ARI 및 Log-Prob에 대한 희귀 완성은 MBAR와 TPS를 사용해 직접 샘플링을 훨씬 능가하는 차원에서 추정될 수 있다.
• MBAR는 꼬리에서 직접 히스토그램보다 상대 신뢰 구간이 더 좁아 훈련 데이터에서 멀리 떨어진 꼬리 밀도를 탐색할 수 있게 한다.
• 직접 샘플링은 꼬리 확률을 과소평가하고 희귀 이벤트를 놓치며, 지수 기울임이 포함된 TPS는 두 관찰가능치 모두에서 꼬리를 성공적으로 샘플링한다.
• 희귀 ARI 완성은 반복성이 높고 높은 log 확률을 가질 수 있어 훈련 분포 외의 외삽 동작을 나타낸다.
• 희귀 완성의 탐색적 데이터 분석은 안전 도구에 유용한 패턴을 드러내며, 예를 들어 바람직하지 않은 반복을 제한하는 런타임 필터의 가능성 등을 포함한다.

Figure 2 : Observables in annealing TPS trajectories . (a) Cummulative average of the ARI along TPS trajectories for the TinyStories LLM. We show both positive (orange) and negative (blue) biases, generated as described in Sect. 4 . The cummulative average resets when the bias changes. The annealing