[논문 리뷰] Large Language Models with Controllable Working Memory

Daliang Li, Ankit Singh Rawat외 6명|arXiv (Cornell University)|2022. 11. 09.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 지식 인식 미세조정(KAFT)을 제안하며, 이는 기억된 세계 지식보다 작업 관련 맥락을 우선시하도록 훈련시켜 대규모 언어 모델의 제어 가능성과 견고성을 향상시키는 방법이다. KAFT는 미세조정 중 반사적 맥락과 관련 없는 맥락 증강을 사용하여 표준 성능을 떨어뜨리지 않으면서도 갈등이 있거나 혼란스러운 입력에 대해 모델 행동을 크게 향상시킨다.

ABSTRACT

Large language models (LLMs) have led to a series of breakthroughs in natural language processing (NLP), owing to their excellent understanding and generation abilities. Remarkably, what further sets these models apart is the massive amounts of world knowledge they internalize during pretraining. While many downstream applications provide the model with an informational context to aid its performance on the underlying task, how the model's world knowledge interacts with the factual information presented in the context remains under explored. As a desirable behavior, an LLM should give precedence to the context whenever it contains task-relevant information that conflicts with the model's memorized knowledge. This enables model predictions to be grounded in the context, which can then be used to update or correct specific model predictions without frequent retraining. By contrast, when the context is irrelevant to the task, the model should ignore it and fall back on its internal knowledge. In this paper, we undertake a first joint study of the aforementioned two properties, namely controllability and robustness, in the context of LLMs. We demonstrate that state-of-the-art T5 and PaLM (both pretrained and finetuned) could exhibit poor controllability and robustness, which do not scale with increasing model size. As a solution, we propose a novel method - Knowledge Aware FineTuning (KAFT) - to strengthen both controllability and robustness by incorporating counterfactual and irrelevant contexts to standard supervised datasets. Our comprehensive evaluation showcases the utility of KAFT across model architectures and sizes.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 기억된 세계 지식과 작업 특화 맥락 사이의 갈등을 어떻게 다루는지 조사하기 위해.
• 최첨단 LLM인 T5와 PaLM가 규모가 크더라도 여전히 제어 가능성과 견고성이 떨어지는 점을 규명하기 위해.
• 내부 지식과 모순될 경우 맥락을 올바르게 우선시할 수 있도록 LLM에 방법을 개발하기 위해.
• 표준 벤치마크에서 성능을 떨어뜨리지 않으면서도 모델 행동을 강화하는 미세조정 접근법을 만들기 위해.

제안 방법

• KAFT는 표준 지도 학습 데이터셋에 반사적 맥락(맥락이 기억된 지식과 모순되는 경우)과 관련 없는 맥락(작업과 관련이 없는 경우)을 추가하여 데이터 증강을 도입한다.
• 이 방법은 맥락이 관련이 있을 경우 기억된 지식을 억제하고, 관련이 없는 맥락은 무시하도록 LLM을 미세조정하기 위해 이러한 증강된 데이터셋을 사용한다.
• 훈련은 모델이 맥락과 일치하는 답변을 생성하도록 유도하는 손실 함수를 사용하며, 이는 모델의 사전 훈련된 지식과 충돌하더라도 적용된다.
• 이 방법은 T5와 PaLM 아키텍처를 모두 다수의 크기로 적용하였으며, 540B 파라미터 모델을 포함한다.
• KAFT는 재훈련이나 가중치 편집이 필요로 하지 않으며, 대신 추론 중 활성화 패턴을 맥락 제어를 통해 수정한다.
• 제어 가능성과 견고성 효과를 분리하기 위해, TriviaQA를 사용하여 반사적 증강과 맥락 관련성 필터링을 평가한다.

실험 결과

연구 질문

• RQ1 메모리된 세계 지식과 갈등이 있을 경우 대규모 언어 모델이 맥락을 기억된 지식보다 우선시하도록 효과적으로 훈련시킬 수 있는가?
• RQ2 갈등이 있거나 관련이 없는 맥락이 존재할 때 모델 크기가 제어 가능성과 견고성에 어떤 영향을 미치는가?
• RQ3 단일한 미세조정 절차로 제어 가능성과 견고성을 모두 향상시킬 수 있으며, 표준 성능을 떨어뜨리지 않을 수 있는가?
• RQ4 반사적 맥락과 관련 없는 맥락을 사용한 데이터 증강이 모델 행동을 얼마나 향상시키는가?
• RQ5 모델은 사실적으로 타당하거나 의미적으로 관련 있는 맥락조차도 무시하도록 훈련시킬 수 있는가?

주요 결과

• KAFT는 닫힌 책 답변과 반사적 답변 간 일치율을 PaLM 540B의 0.6%에서 0.7%로 낮혀 잘못된 답변에 대한 기억의 최소화를 보여준다.
• PaLM 62B의 경우, KAFT는 머리 반사적 질문에서 제어 가능성 일치율을 1.4%에서 1.3%로 향상시켜 일관된 개선을 보였다.
• T5 XXL의 경우 KAFT는 제어 가능성 일치율을 6.6%에서 6.8%로 높여 다양한 모델 크기에서의 효과성을 입증했다.
• TriviaQA 데이터를 제거한 KAFT는 T5 XXL에서 52%, PaLM 62B에서 69%의 제어 가능성 수준을 기록하여 노이즈 있는 미세조정보다 뛰어난 성능을 보였다.
• 표준 메트릭에서 강력한 성능을 유지하면서도 맥락 제어 시나리오에서 행동이 크게 향상되었다.
• 훈련 중 TriviaQA 데이터에 접근하지 못하더라도 KAFT는 높은 제어 가능성을 달성하여 데이터 분포 이동에 대한 강건성을 보여주었다.