[논문 리뷰] EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling

Shimao Zhang, Yu Bao외 1명|arXiv (Cornell University)|2024. 03. 21.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(LLM) 디코딩 중 현재 토큰 분포의 엔트로피를 기반으로 온도 파rameter를 동적으로 조정하는 새로운 샘플링 전략인 엔트로피 기반 동적 온도(EDT)를 제안한다. 모델의 불확실성에 따라 온도를 적응적으로 조절함으로써, EDT는 생성 품질과 다양성 양면에서 향상되며, 고정 온도 및 기타 동적 온도 방법에 비해 다수의 벤치마크에서 뛰어난 성능을 보이며, 계산 비용은 극히 낮다.

ABSTRACT

Recently, Large Language Models (LLMs) have demonstrated outstanding performance across a wide range of downstream language tasks. Temperature sampling is a commonly used decoding strategy for LLMs' generation process. However, a fixed temperature parameter is used in most cases, which may not always be an optimal choice for balancing generation quality and diversity. In this paper, we propose an effective Entropy-based Dynamic Temperature (EDT) Sampling method, to achieve a more balanced performance in terms of both generation quality and diversity by dynamically selecting the temperature parameter. Additionally, we also show model performance and comprehensive analyses for 4 different generation benchmarks. Our experiments show that EDT significantly outperforms the existing strategies across different tasks.

연구 동기 및 목표

• 다양한 NLP 작업에서 고정 온도 샘플링의 한계를 해결하여 생성 품질과 다양성의 균형을 개선하고자 한다.
• 모델의 자신감에 따라 적응하는 경량이며 작업에 종속되지 않는 동적 온도 전략을 개발하고자 한다.
• 기존의 동적 및 고정 전략과 비교해 엔트로피 기반 온도 조정이 뛰어난 성능을 낼 수 있음을 경험적으로 검증하고자 한다.
• 온도가 LLM 디코딩 행동과 생성 결과에 미치는 영향을 포괄적으로 분석하고자 한다.
• 향후 LLM을 위한 학습 가능한, 적응적인 디코딩 메커니즘에 대한 연구를 유도하고자 한다.

제안 방법

• EDT는 각 디코딩 단계에서 현재 토큰 확률 분포의 엔트로피를 사용해 온도를 동적으로 설정한다.
• 온도는 $ T = T_0 \cdot \theta^{\text{entropy}(p_t)} $ 로 계산되며, $ T_0 $ 는 범위를 제어하고 $ \theta $ 는 엔트로피에 대한 민감도를 조절한다.
• 낮은 엔트로피(높은 자신감)는 낮은 온도로 이어져 더 집중적이고 품질 높은 생성을 유도한다.
• 높은 엔트로피(낮은 자신감)는 높은 온도로 이어져 다양성과 탐색을 증가시킨다.
• 모델 아키텍처를 수정하거나 추가 학습이 필요 없이 자동회귀 디코딩 중에 적용된다.
• 품질과 다양성을 통합한 복합 지표인 EDA 및 EDA_range를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 동적 온도 샘플링이 LLM에서 생성 품질과 다양성의 균형을 향상시킬 수 있는가?
• RQ2 EDT의 성능은 다양한 NLG 작업에서 고정 온도 및 다른 동적 온도 전략과 비교해 어떻게 다른가?
• RQ3 하이퍼파rameter $ T_0 $ 와 $ \theta $ 는 EDT의 효과성과 강건성에 어떤 영향을 미치는가?
• RQ4 EDT는 사실적 일致성과 유창성을 유지하거나 향상시키면서도 생성 출력의 중복을 줄이는가?
• RQ5 엔트로피 기반 온도 조정은 다양한 언어 생성 작업 전반에 걸쳐 일반적으로 사용 가능한 경량의 디코딩 전략이 될 수 있는가?

주요 결과

• EDT는 MS MARCO 질문-답변 벤치마크에서 고정 온도 샘플링을 크게 능가하여 EDA 점수 12.15를 기록했고, 고정 온도의 12.44에 비해 뛰어난 성능을 보였다.
• EDA_range가 35.82에서 29.49로 17.7% 감소하여, 더 나은 다양성 제어와 중복 감소를 나타냈다.
• XLSum 요약 데이터셋에서 EDT가 생성한 출력은 더 간결하고 정확했으며, 유사한 self-BLEU 점수를 유지하면서 더 높은 ROUGE-L F1 점수를 기록했다.
• 제거 실험 결과, 최적의 하이퍼파rameter $ T_0 $ 와 $ \theta $ 가 필수적임을 확인했으며, $ \theta = 0.5 $ 와 $ T_0 = 0.5 $ 로 설정했을 때 MS MARCO에서 최고의 성능을 냈다.
• EDT는 거의 영향을 주지 않는 계산 비용을 유발했고, 다른 동적 온도 방법 대비 약 50%의 GPU 메모리 절약을 기록했다.
• 사례 연구를 통해 EDT가 배경 정보의 중복을 줄이며, UDT 및 고정 온도 기반 베이스라인에 비해 더 간결하고 의미 있는 출력을 생성함을 확인했다.