[논문 리뷰] Towards Teachable Reasoning Systems: Using a Dynamic Memory of User Feedback for Continual System Improvement

Bhavana Dalvi, Oyvind Tafjord외 1명|arXiv (Cornell University)|2022. 04. 27.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 모델 재학습 없이 지속적으로 질문-답변 성능을 향상시키기 위해 사용자 피드백의 동적 메모리를 사용하는 TeachMe라는 교육 가능한 추론 시스템을 제안한다. 새로운 질의의 맥락에 사용자가 수정한 사실을 통합함으로써, 오류가 있는 모델의 믿음을 수정하고 실제 사용자 상호작용 이후 은닉 테스트 세트에서 15퍼센트 이상의 성능 향상을 달성한다. 이는 사용자 피드백을 통한 지속적 학습의 효과를 입증한다.

ABSTRACT

Our goal is a teachable reasoning system for question-answering (QA), where a user can interact with faithful answer explanations, and correct its errors so that the system improves over time. Our approach is to augment a QA model with a dynamic memory of user feedback, containing user-supplied corrections to erroneous model beliefs that users identify during interaction. Retrievals from memory are used as additional context for QA, to help avoid previous mistakes in similar new situations - a novel application of memory-based continuous learning. With simulated feedback, we find that our system (called TeachMe) continually improves with time, and without model retraining, requiring feedback on only 25% of training examples to reach within 1% of the upper-bound (feedback on all examples). Similarly, in experiments with real users, we observe a similar trend, with performance improving by over 15% on a hidden test set after teaching. This suggests new opportunities for using frozen language models in an interactive setting where users can inspect, debug, and correct the model's beliefs, leading to improved system's performance over time.

연구 동기 및 목표

• 사용자가 모델의 믿음에 대해 검토하고 디버깅하며 수정할 수 있도록 상호작용적 피드백을 통해 교육 가능한 추론 시스템을 개발한다.
• 기본 언어 모델을 다시 학습하지 않고도 시간이 지남에 따라 지속적으로 성능을 향상시킬 수 있도록 한다.
• 사용자가 제공한 수정 사항과 모델 내부의 믿음을 통합하여 체계적인 추론과 오류 방지를 가능하게 한다.
• 모의 및 실제 사용자 피드백을 실제 상호작용 환경에서 사용하여 접근법을 평가한다.
• 사용자 피드백을 추론 시점에 메모리 검색을 통해 활용하여 미리 보지 않은 질문에 대한 일반화 능력을 향상시킬 수 있음을 입증한다.

제안 방법

• 오류가 있는 모델의 믿음에 대한 사용자가 제공한 수정 사항을 저장하는 동적 메모리로 동결된 QA 모델을 보강한다.
• 추론 과정에서 메모리에서의 검색을 추가 맥락으로 사용하여 잘못된 추론 경로를 대체한다.
• 함의 기반 추론 체인을 생성하여 모델의 믿음과 오류를 사용자에게 투명하게 드러낸다.
• 사용자가 설명의 오류를 식별하고 수정할 수 있도록 하며, 수정 내용은 향후 사용을 위해 메모리에 저장한다.
• 고정된 지식 소스가 아닌 사용자가 생성한 사실을 사용하는 Retrieval-Augmented Generation(RAG) 원칙을 적용한다.
• 모델를 미세조정하지 않고도 런타임 동안 업데이트되는 지속 가능한 메모리를 유지하여 수정된 믿음으로 모델의 경향성을 향상시킨다.

실험 결과

연구 질문

• RQ1 모델 재학습 없이 사용자 피드백을 통해 교육 가능한 QA 시스템이 시간이 지남에 따라 향상될 수 있는가?
• RQ2 동적 메모리에 저장된 사용자 피드백가 오류 수정 및 새로운 질문에 대한 성능 향상에 얼마나 효과적인가?
• RQ3 시스템이 추론 시점에 사용자 수정 사항을 얼마나 잘 활용하여 과거의 실수를 반복 방지할 수 있는가?
• RQ4 특정 부분만 사용할 경우, 사용자 피드백의 수가 늘어남에 따라 성능이 어떻게 변화하는가?
• RQ5 실제 사용자 상호작용이 은닉 테스트 세트에서 측정 가능하고 일반화 가능한 성능 향상으로 이어질 수 있는가?

주요 결과

• 모의 피드백을 사용한 결과, TeachMe는 금속 피드백 애너테이션의 25퍼센트만 사용해도 상한 성능에 1퍼센트 이내로 도달하여 높은 데이터 효율성을 입증했다.
• 실제 사용자 실험에서, 사용자가 소규모 훈련 질문 세트에서 시스템을 가르친 후 은닉 테스트 세트에서 성능이 15퍼센트 이상 향상되었다.
• 모델를 동결한 채로 유지하면서도 사용자 피드백의 런타임 컨텍스트 주입을 통해 지속적인 향상을 달성했다.
• 메모리에서 사용자가 수정한 사실을 검색하여 오류가 있는 모델의 믿음을 효과적으로 대체하고, 유사한 새로운 질문에 대한 추론 능력을 향상시켰다.
• 모의 및 실제 환경 모두에서 접근법의 타당성을 입증하여 상호작용적이고 사용자 중심의 지속적 학습의 강력한 잠재력을 보였다.
• 피드백이 희소할 경우에도 성능 향상이 유지되어 중요한 오해를 조기에 수정함으로써 체계적 오류의 확산을 방지할 수 있음을 시사했다.