[논문 리뷰] RECKONING: Reasoning through Dynamic Knowledge Encoding

Zeming Chen, Gail Garfinkel Weiss외 3명|arXiv (Cornell University)|2023. 05. 10.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 추론 중에 동적 맥락 지식을 모델 파라미터에 기울기 업데이트를 통해 인코딩함으로써 트랜스포머 기반 언어 모델이 맥락 지식을 안정적으로 추론할 수 있도록 하는 Reckoning이라는 이중 최적화 방법을 제안한다. 빠르게 적응하여 관련 사실을 기억하도록 학습함으로써, Reckoning은 맥락 지식에 간섭 요소가 많거나 장문의 추론 체인을 포함한 상황에서 기존의 인라인 추론 대비 최대 4.5% 향상된 추론 성능을 보인다.

ABSTRACT

Recent studies on transformer-based language models show that they can answer questions by reasoning over knowledge provided as part of the context (i.e., in-context reasoning). However, since the available knowledge is often not filtered for a particular question, in-context reasoning can be sensitive to distractor facts, additional content that is irrelevant to a question but that may be relevant for a different question (i.e., not necessarily random noise). In these situations, the model fails to distinguish the knowledge that is necessary to answer the question, leading to spurious reasoning and degraded performance. This reasoning failure contrasts with the model's apparent ability to distinguish its contextual knowledge from all the knowledge it has memorized during pre-training. Following this observation, we propose teaching the model to reason more robustly by folding the provided contextual knowledge into the model's parameters before presenting it with a question. Our method, RECKONING, is a bi-level learning algorithm that teaches language models to reason by updating their parametric knowledge through back-propagation, allowing them to then answer questions using the updated parameters. During training, the inner loop rapidly adapts a copy of the model weights to encode contextual knowledge into its parameters. In the outer loop, the model learns to use the updated weights to reproduce and answer reasoning questions about the memorized knowledge. Our experiments on two multi-hop reasoning datasets show that RECKONING's performance improves over the in-context reasoning baseline (by up to 4.5%). We also find that compared to in-context reasoning, RECKONING generalizes better to longer reasoning chains unseen during training, is more robust to distractors in the context, and is more computationally efficient when multiple questions are asked about the same knowledge.

연구 동기 및 목표

• 맥락 지식 내의 간섭 요소에 민감한 인라인 추론의 취약성을 해결하기 위해.
• 모델이 관련 맥락 사실과 관련 없는 사실을 구분하도록 가르쳐 추론의 안정성을 향상시키기 위해.
• 언어 모델이 추론 중에 외부 지식을 파라미터에 인코딩할 수 있도록 하여, 매개변수 기반 지식을 모방하기 위해.
• 효과적인 동적 지식 인코딩과 추론을 위한 모델 파라미터 최적화를 가능하게 하는 메타학습 프레임워크를 개발하기 위해.
• 같은 지식에 대해 여러 질문을 다룰 때 추론 체인의 길이가 길어질 경우나 계산 비용을 줄이기 위해.

제안 방법

• Reckoning은 이중 최적화 프레임워크를 사용한다: 내부 루프는 언어 모델링 손실을 통해 맥락 지식을 모델 파라미터에 빠르게 인코딩하는 데 기울기 업데이트를 수행한다.
• 외부 루프는 내부 루프의 적응된 모델이 인코딩된 지식에 기반해 추론 질문을 정확히 답변할 수 있도록 초기 메타파라미터를 최적화한다.
• 내부 루프 업데이트는 층과 스텝별로 동적 학습률을 사용하며, 적응 효율성을 향상시키기 위해 기울기 하강법으로 학습한다.
• 이 방법은 다단계 추론 데이터셋에서 훈련되며, 지식 기억 및 최종 추론 정확도를 동시에 최적화한다.
• 추론 시, 모델은 질문에 답하기 전에 새로운 사실을 가중치에 인코딩하기 위해 몇 번의 기울기 스텝을 수행한다.
• 프레임워크는 지식에 대한 언어 모델링과 질문에 대한 추론 정확도를 조합한 총 손실을 사용해 엔드 투 엔드로 훈련된다.

Figure 1 : Our algorithm, Reckoning , solves reasoning problems by encoding external contextual knowledge into a model’s parameters through gradient updates. At inference time, Reckoning performs a few parameter updates using the gradients of a language modeling loss to encode the relevant facts. Th

실험 결과

연구 질문

• RQ1 모델이 맥락 지식을 인라인 프롬프팅에 의존하는 대신 파라미터에 인코딩함으로써 맥락 지식에 대해 더 안정적인 추론을 수행하도록 훈련시킬 수 있는가?
• RQ2 특히 간섭 요소가 많은 조건에서, 추론 중에 동적 파라미터 적응이 표준 인라인 추론 대비 성능 향상을 이룰 수 있는가?
• RQ3 지식을 매개변수 기반으로 인코딩할 경우, 맥락 기반 인코딩보다 더 긴 추론 체인에 대해 일반화 능력이 향상되는가?
• RQ4 내부 루프에서 동적 학습률을 사용할 경우, 모델의 전체 추론 성능에 어떤 영향을 미치는가?
• RQ5 같은 지식에 대해 여러 질문을 던질 경우, 제안된 방법이 인라인 추론보다 계산적으로 더 효율한가?

주요 결과

• Reckoning은 세 개의 다단계 추론 데이터셋에서 기존의 인라인 추론 기준선 대비 최대 4.5% 향상된 추론 정확도를 보였다.
• CLUTRR-SG 데이터셋에서 Reckoning은 4단계 추론 체인에서 98.3%의 정확도를 기록했고, 6단계에서는 94.8%를 기록했으며, 이는 제로샷 GPT-3.5를 크게 앞서는 성능이었다.
• 간섭 요소가 존재하는 조건에서도 Reckoning은 높은 성능(예: 5단계 ProofWriter에서 84.0%)을 유지했고, GPT-3.5는 45.3%로 급격히 떨어졌다.
• 내부 루프에서 동적 학습률을 사용할 경우, 고정 학습률 대비 성능 저하를 34.2% 감소시켰으며, 특히 장문의 체인(4단계에서 45.5% 저하 감소)에서 더 큰 성과를 보였다.
• 새로운 추론 체인 길이에 대해 더 잘 일반화되며, 같은 지식에 대해 여러 질문을 다룰 경우 계산 비용이 더 적게 들었다.
• 특히 간섭 요소가 많은 악성 환경에서, Reckoning은 파라미터 튜닝된 인라인 추론과 GPT-3.5의 제로샷/소수 샘플 프롬프팅을 모두 능가하는 성능을 보였다.

Figure 2 : The two-stage training process of Reckoning with an inner and outer loop.