[논문 리뷰] KL-Divergence Guided Temperature Sampling

Chung-Ching Chang, David Reitter외 2명|arXiv (Cornell University)|2023. 06. 02.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 원본 문서에 대한 관련성을 바탕으로 생성 중에 온도를 동적으로 조정하는 KL-발산 유도 온도 샘플링을 제안한다. 이는 다양성을 유지하면서 환상 현상을 줄이는 동적 디코딩 방법이다. KL-발산을 사용해 원본 문서 관련성을 측정하고 온도를 동적으로 조절함으로써, 대화형 QA 및 요약 작업에서 상위-k 및 상위-p 샘플링보다 사실성과 근거 제공 능력에서 뛰어난 성능을 보였다.

ABSTRACT

Temperature sampling is a conventional approach to diversify large language model predictions. As temperature increases, the prediction becomes diverse but also vulnerable to hallucinations -- generating tokens that are sensible but not factual. One common approach to mitigate hallucinations is to provide source/grounding documents and the model is trained to produce predictions that bind to and are attributable to the provided source. It appears that there is a trade-off between diversity and attribution. To mitigate any such trade-off, we propose to relax the constraint of having a fixed temperature over decoding steps, and a mechanism to guide the dynamic temperature according to its relevance to the source through KL-divergence. Our experiments justifies the trade-off, and shows that our sampling algorithm outperforms the conventional top-k and top-p algorithms in conversational question-answering and summarization tasks.

연구 동기 및 목표

• 대규모 언어 모델에서 생성 다양성과 사실적 근거 제공 간의 상충 관계를 해결하기 위해.
• 디코딩 중 온도를 동적으로 조정하여 소수의 예시 및 제로샷 생성에서 환상 현상을 줄이기 위해.
• 외부 원본 문서에 기반한 응답 생성 시 모델의 신뢰성을 향상시키기 위해.
• 디코딩 중에 KL-발산을 원본 관련성 신호로 사용하는 메커니즘을 개발하기 위해.
• 정적 디코딩 방법인 상위-k 및 상위-p보다 다양성과 사실적 근거 제공 능력에서 뛰어난 성능을 내기 위해.

제안 방법

• 원본 입력이 있는 확률 분포와 없는 분포 간의 KL-발산을 각 디코딩 단계에서의 원본 관련성 평가 신호로 사용한다.
• KL-발산 신호에 기반해 동적 온도 조절 메커니즘을 적용하며, 원본과 관련성이 낮을수록 온도를 높이고 관련성이 높을수록 낮춘다.
• 온도를 다양성과 근거 제공 능력을 조절하는 노브로 간주하며, 이는 온도와 모델 크기가 근거 제공에 유사한 영향을 미친다는 이전 연구 결과를 반영한다.
• 모델은 원본 입력이 포함된 경우와 없는 경우를 모두 처리하도록 훈련되어, 추론 시 KL-발산을 통해 분포를 비교할 수 있다.
• 디코더 중심 또는 인코더-디코더 프레임워크에서 구현되며, 실시간 원본 관련성에 따라 각 디코딩 단계에서 온도를 조정한다.
• 대화형 QA 및 요약 작업에서 사실성 일관성, 다양성, 근거 제공 능력에 대한 표준 지표를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 KL-발산에 의해 유도되는 동적 온도 조절이 LLM 생성 텍스트의 사실성 일관성에 향상 효과를 줄 수 있는가?
• RQ2 제안된 방법은 정적 온도 샘플링 대비 환상 현상을 줄이면서도 생성 다양성을 유지하는가?
• RQ3 KL-발산으로 측정한 원본 관련성이 디코딩 중 최적의 온도 설정에 어떤 영향을 미치는가?
• RQ4 KL-유도 온도 샘플링은 근거 제공 및 사실적 정확성 측면에서 표준 상위-k 및 상위-p 샘플링을 능가하는가?
• RQ5 원본 문서가 존재하거나 존재하지 않을 때 동적 온도 조절이 모델 행동에 어떤 영향을 미치는가?

주요 결과

• 제안된 KL-발산 유도 온도 샘플링은 기준 상위-p 및 상위-k 방법 대비 대화형 질문-답변 작업에서 환상 현상을 크게 감소시켰다.
• QReCC 데이터셋에서 이 방법은 90%의 응답이 사실을 원본에 정확히 근거 지정하는 등 더 높은 사실성 일관성을 달성했으며, 기준 상위-p(0.3) 및 상위-p(0.7)를 능가했다.
• 이 방법은 근거 제공 능력을 향상시키면서도 높은 다양성을 유지했으며, 탐욕적 디코딩 대비 반복 응답 비율이 25% 감소한 것으로 확인되었다.
• σ=0.1로 조정된 유도 상위-p는 복잡한 사실 기반 질의에서 표준 상위-p(0.3 또는 0.7)보다 더 정확하고 원본에 기반한 응답을 생성했다.
• 동적 온도 조절 덕분에 요약 작업에서 근거 제공 점수는 30% 향상되었으며, 이는 원본 문서에 근거한 생성이 핵심적인 과제임을 반영한다.
• 실험을 통해 KL-발산이 원본 관련성에 효과적인 신호로 작용하여 각 디코딩 단계에서 정밀한 온도 적응이 가능함을 확인했다.