[논문 리뷰] DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models

Yung-Sung Chuang, Yujia Xie외 4명|arXiv (Cornell University)|2023. 09. 07.

Topic Modeling인용 수 17

한 줄 요약

DoLa는 성숙 계층의 로짓과 조기 계층의 로짓을 대조해 외부 검색이나 미세 조정 없이 사실 지식을 표면화하고 망상을 줄이며, 외부 지식 없이도 여러 작업에서 진실성을 높이고 지연은 최소화합니다.

ABSTRACT

Despite their impressive capabilities, large language models (LLMs) are prone to hallucinations, i.e., generating content that deviates from facts seen during pretraining. We propose a simple decoding strategy for reducing hallucinations with pretrained LLMs that does not require conditioning on retrieved external knowledge nor additional fine-tuning. Our approach obtains the next-token distribution by contrasting the differences in logits obtained from projecting the later layers versus earlier layers to the vocabulary space, exploiting the fact that factual knowledge in an LLMs has generally been shown to be localized to particular transformer layers. We find that this Decoding by Contrasting Layers (DoLa) approach is able to better surface factual knowledge and reduce the generation of incorrect facts. DoLa consistently improves the truthfulness across multiple choices tasks and open-ended generation tasks, for example improving the performance of LLaMA family models on TruthfulQA by 12-17% absolute points, demonstrating its potential in making LLMs reliably generate truthful facts.

연구 동기 및 목표

• 대형언어모델(LLMs)에서 사실성 및 환각의 도전 과제를 동기 부여하고 검색이나 미세 조정에 의존하지 않는 디코딩 시점 솔루션을 모색합니다.
• 상위 계층에 내재된 사실 지식을 확대하고 하위 계층의 언어적 단서를 약화시키는 동적 계층 대조 디코딩 방법(DoLa)을 제안합니다.
• 표면 수준의 사실 개선이 LLaMA 계열 모델의 객관식 및 개방형 작업에서 더 높은 진실성으로 이어지며, 지연 영향은 미미하다는 것을 보여줍니다.

제안 방법

• 모델의 어휘 헤드를 사용하여 최종(성숙) 계층과 선택된 이른(미숙) 계층 모두에서 다음 토큰 분포를 계산합니다.
• 후보 조기 계층들에 걸쳐 q_N(·|x_<t)와 q_j(·|x_<t) 사이의 Jensen-Shannon 발산을 최대화하여 미숙 계층 M을 동적으로 선택합니다.
• 미숙 계층의 로짓을 성숙 계층의 로짓에서 빼고 그 결과에 plausibility-filtered 어휘 부분집합에 대해 소프트맥스를 적용하는 로그대비(F(q_N, q_M)) 함수로 DoLa 확률을 형성합니다.
• 성숙 계층의 높은 확률 토큰이 여전히 유효하도록 적응 가능한 가능성 제약을 적용하고 디코딩 중 반복 페널티를 포함합니다.
• 동적 접근 방식의 견고성을 보여주기 위해 정적 미숙 계층 선택(DoLa-static)과의 비교를 선택적으로 수행합니다.
• LLaMA-7B, -13B, -33B, -65B 모델에서 TruthfulQA, FACTOR, StrategyQA, GSM8K, GPT-4 평가 Vicuna 벤치마크를 대상으로 실험적으로 검증합니다.

실험 결과

연구 질문

• RQ1 외부 지식이나 미세조정 없이 계층 간 대조를 통한 디코딩이 LLM의 환각을 줄이는가?
• RQ2 계층별 분포 차이를 통한 동적 미숙 계층 선택이 여러 작업과 모델 크기에 걸쳐 사실성을 견고하게 향상시킬 수 있는가?
• RQ3 사실성, 추론 작업 및 개방형 생성에서 DoLa와 대조적 디코딩(CD) 및 정적 계층 기준선의 상대적 성능은 어떠한가?

주요 결과

모델	TruthfulQA	FACTOR MC1	FACTOR MC2	FACTOR MC3	뉴스	위키
LLaMa-7B	25.6	40.6	19.2	58.3	58.6
+ ITI	25.9	-	-	-	-
+ DoLa	32.2	63.8	32.1	62.0	62.2
LLaMa-13B	28.3	43.3	20.8	61.1	62.6
+ CD	24.4	41.0	19.0	62.3	64.4
+ DoLa	28.9	64.9	34.8	62.5	66.2
LLaMa-33B	31.7	49.5	24.2	63.8	69.5
+ CD	33.0	51.8	25.7	63.3	71.3
+ DoLa	30.5	62.3	34.0	65.4	70.3
LLaMa-65B	30.8	46.9	22.7	63.6	72.2
+ CD	29.3	47.0	21.5	64.6	71.3
+ DoLa	31.1	64.6	34.3	66.2	66.2 or 72.4

• DoLa는 LLaMA 모델의 객관식 및 개방형 작업 전반에서 진실성을 일관되게 향상시키며 TruthfulQA와 FACTOR에서 뚜렷한 이점을 보입니다.
• 개방형 TruthfulQA에서 DoLa는 네 가지 LLaMA 크기에서 %Truth×%Info를 12-17% 향상시키며, 감독 라벨 없이 ITI 성능에 근접합니다.
• 최대 JSD를 통한 동적 미숙 계층 선택은 사실 중심 작업에는 상위 계층을, 더 긴 문장 완성에는 하위 계층을 선택하여 데이터 세트 전반에 걸친 견고한 이득을 제공합니다.
• DoLa는 약 1.01배에서 1.08배 정도의 지연 증가를 달성하고 LLaMA 계열 외 모델(예: MPT-7B)에도 예외를 제외하고 일반화됩니다.
• 추론 작업(StrategyQA, GSM8K)에서 DoLa는 성능을 향상시키거나 유지하는 반면 CD는 특정 설정에서 추론을 해칠 수 있습니다.
• DoLa-static은 데이터 분포에 덜 견고하고 더 광범위한 검증이 필요하며, 동적 DoLa는 분포 내 검증 필요성을 줄입니다.