[논문 리뷰] Enriching a Model's Notion of Belief using a Persistent Memory

Nora Kassner, Oyvind Tafjord외 2명|arXiv (Cornell University)|2021. 04. 16.

Topic Modeling참고 문헌 31인용 수 6

한 줄 요약

이 논문은 전훈련된 언어 모델(PTLM)에 지속적인 믿음 저장소(BeliefBank) 메모리를 통합하여 사실 추론에서의 전반적 일관성과 정확도를 향상시키는 것을 제안한다. 충돌하는 믿음을 해결하기 위해 가중치가 부여된 SAT 솔버를 사용하고, 알려진 믿음에서 맥락을 취득하여 모델을 재질의하는 피드백 메커니즘을 도입함으로써, 제약 기반 환경에서 일관성과 정확도에 있어 뚜렷한 향상을 이룬다.

ABSTRACT

Although pretrained language models (PTLMs) have been shown to contain significant amounts of world knowledge, they can still produce inconsistent answers to questions when probed, even after using specialized training techniques to reduce inconsistency. As a result, it can be hard to identify what the model actually "believes" about the world. Our goal is to reduce this problem, so systems are more globally consistent and accurate in their answers. Our approach is to add a memory component -- a BeliefBank -- that records a model's answers, and two mechanisms that use it to improve consistency among beliefs. First, a reasoning component -- a weighted SAT solver -- improves consistency by flipping answers that significantly clash with others. Second, a feedback component re-queries the model but using known beliefs as context. We show that, in a controlled experimental setting, these two mechanisms improve both accuracy and consistency. This is significant as it is a first step towards endowing models with an evolving memory, allowing them to construct a more coherent picture of the world.

연구 동기 및 목표

• 전훈련된 언어 모델의 사실적 답변에서 발생하는 일관성 문제를 해결하여 신뢰할 수 있는 믿음 할당을 가능하게 하기 위해.
• 모델을 재훈련하지 않고 소음이 있는 PTLM 출력물로부터 전역적으로 일관된 정신 모델을 구성할 수 있는 시스템을 개발하기 위해.
• 지속적인 기억과 추론 메커니즘이 사실 질문-답변 작업에서의 일관성과 정확도를 향상시킬 수 있는지 탐색하기 위해.
• 논리적 제약 조건 하에서 모델 일관성을 측정하고 평가하기 위한 제어된 데이터셋을 구축하기 위해.
• 기억과 추론을 통합하여 진화하는 일관된 믿음 체계를 갖춘 시스템의 기반을 마련하기 위해.

제안 방법

• 사실 질문에 대한 원시 답변을 저장하는 지속적인 BeliefBank를 PTLM에 통합하기.
• 논리적 제약 조건을 위반하는 답변을 뒤집어 충돌하는 믿음을 탐지하고 해결하기 위해 가중치가 부여된 SAT 솔버를 사용하기.
• 기존의 믿음을 맥락으로 사용하여 모델을 재질의하는 피드백 메커니즘을 구현하여 답변 품질을 향상시키기.
• 논리적 관계를 정의하는 제약 조건을 통해 일관성 문제를 가중치가 부여된 만족 가능성(WSAT) 문제로 재구성하기.
• 신뢰도와 일관성을 균형 있게 유지하기 위해 모델 및 제약 조건 가중치를 자동으로 校정하기.
• 짧은 사실 문장과 명시적인 논리적 제약 조건(예: 'X는 새이다 → X는 날개를 가진다')이 있는 제어된 환경에서 시스템을 적용하기.

실험 결과

연구 질문

• RQ1 재훈련 없이 지속적인 기억 레이어가 PTLM의 사실 추론에서 일관성과 정확도를 향상시킬 수 있는가?
• RQ2 가중치가 부여된 SAT 솔버가 모델이 제공한 믿음 간의 충돌을 얼마나 효과적으로 해결하는가?
• RQ3 기존 믿음에서 맥락을 취득하여 모델을 재질의하는 방식이 답변 품질을 얼마나 향상시키는가?
• RQ4 제약 조건 설정 및 가중치 校정 방식이 시스템 성능에 어떤 영향을 미치는가?
• RQ5 간단한 기억 기반 시스템이 소음이 많은 PTLM 출력물로부터 세계에 대한 일관된 정신 모델을 근사할 수 있는가?

주요 결과

• BeliefBank 시스템은 논리적 제약 조건이 있는 제어된 실험 환경에서 일관성과 정확도를 뚜렷이 향상시켰다.
• 가중치가 부여된 SAT 솔버는 논리적 제약 조건을 위반하는 답변을 뒤집음으로써 믿음 충돌을 효과적으로 해결했다.
• 피드백 메커니즘은 관련 믿음을 맥락으로 사용하여 모델을 재질의함으로써 답변 품질을 향상시켰으며, 특히 거짓 양성 결과를 줄였다.
• 추론과 피드백이라는 두 메커니즘이 시스템 성능 향상에 독립적으로 기여했다.
• 지속적인 기억 레이어가 PTLM 출력물에서 더 일관되고 전역적으로 일관된 사실 표현을 구성하는 데 도움이 될 수 있음을 시스템이 입증했다.
• https://allenai.org/data/beliefbank 에서 공개된 데이터셋은 일관성과 믿음 일관성 평가의 재현 가능성을 보장한다.