[논문 리뷰] Towards a Continuous Knowledge Learning Engine for Chatbots

Sahisnu Mazumder, Nianzu Ma외 1명|arXiv (Cornell University)|2018. 02. 16.

Topic Modeling참고 문헌 10인용 수 24

한 줄 요약

이 논문은 대화 중에 지속적으로 새로운 지식을 학습할 수 있도록 허용하는 수명 주기적 인터랙티브 학습 및 추론 프레임워크인 LiLi를 제안한다. 이는 개방형 지식 기반 완성(OKBC)을 해결하면서 이루어지며, 인간의 학습 방식을 모방함으로써 강화 학습을 사용해 질의에 맞는 추론 전략을 수립하고 사용자와의 상호작용을 통해 누락된 사실을 확보한다. LiLi는 알려지지 않은 관계에서 F1 점수를 최대 5.6% 향상시키며 뚜렷한 성능 향상을 이룩했으며, 핵심 평가에서 p<0.05 수준에서 기준 모델들을 능가하여 지속적 학습과 사용자 상호작용 통합의 효과성을 입증한다.

ABSTRACT

Although chatbots have been very popular in recent years, they still have some serious weaknesses which limit the scope of their applications. One major weakness is that they cannot learn new knowledge during the conversation process, i.e., their knowledge is fixed beforehand and cannot be expanded or updated during conversation. In this paper, we propose to build a general knowledge learning engine for chatbots to enable them to continuously and interactively learn new knowledge during conversations. As time goes by, they become more and more knowledgeable and better and better at learning and conversation. We model the task as an open-world knowledge base completion problem and propose a novel technique called lifelong interactive learning and inference (LiLi) to solve it. LiLi works by imitating how humans acquire knowledge and perform inference during an interactive conversation. Our experimental results show LiLi is highly promising.

연구 동기 및 목표

• 기존 챗봇이 대화 중에 새로운 지식을 학습할 수 없는 이른바 핵심적 한계를 해결함으로써 장기적 적응성과 지식 성장을 제한한다는 점을 다루기 위해.
• 기존 KBC를 일반화하여 알려지지 않은 실체와 관계를 허용함으로써, 대화 중 지속적 지식 학습 문제를 개방형 지식 기반 완성(OKBC) 문제로 정의하기 위해.
• 강화 학습을 통한 동적 추론 전략 수립과 사용자 상호작용을 통해 인간의 학습 방식을 모방하는 수명 주기적 인터랙티브 학습 및 추론(LiLi) 시스템을 설계하기 위해.
• 실제 사용자 상호작용 제약 조건 하에서 예측 성능 향상과 전략 수립 능력 향상에 대한 LiLi의 효과성을 평가하기 위해.
• 지속적 학습과 사용자 피드백이 시간이 지남에 따라 지식 획득과 추론 품질을 어떻게 크게 향상시키는지 입증하기 위해.

제안 방법

• 질의 트리플에 알려지지 않은 실체와 관계를 허용함으로써, 대화 중 지식 학습을 개방형 지식 기반 완성(OKBC) 문제로 정의한다.
• 질의에 맞는 동작 시퀀스를 생성하여 처리 및 상호작용 동작을 수행하기 위한 강화 학습(RL) 기반 추론 전략 수립 모듈을 개발한다.
• 사용자로부터 질문 작성과 단서 확보와 같은 상호작용 동작, 그리고 사실 선택 및 추론 체인 유도와 같은 처리 동작을 구현한다.
• 사용자로부터 단서를 확보할 수 없을 경우 실체 쌍 간의 맥락적 유사도를 사용해 타당한 사실을 예측하는 추측 메커니즘을 통합한다.
• 이전에 성능이 저조했던 작업에 우선순위를 두어 학습하는 과거 작업 선택 메커니즘을 적용함으로써 지식 전이를 향상시키고 치명적 잊기(catastrophic forgetting)를 감소시킨다.
• 고정된 임계값(예: 0.5) 대신 관계별로 특화된 임계값(μr)을 사용함으로써, 알려지지 않은 관계에 대한 예측 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 챗봇이 실시간으로 지식 기반을 확장함으로써 대화 중에 효과적으로 새로운 지식을 학습할 수 있는가?
• RQ2 수명 주기적 인터랙티브 학습은 정적 또는 비상호작용 방법에 비해 지식 기반 완성 성능를 어떻게 향상시키는가?
• RQ3 사용자 상호작용은 개방형 환경에서 알려지지 않은 사실을 추론하는 데 얼마나 높은 수준의 능력을 향상시키는가?
• RQ4 관계별 임계값과 맥락적 유사도의 사용이 알려지지 않은 관계에 대한 예측 정확도를 향상시키는가?
• RQ5 기존 관계의 성능를 유지하면서 새로운 관계를 학습할 때 시스템은 치명적 잊기를 어떻게 완화하는가?

주요 결과

• LiLi는 Freebase와 WordNet 양쪽에서 전체 F1 점수에서 기준 모델 Sep보다 p<0.1 수준에서 뛰어나며, β=0.05일 때 Freebase에서 p<0.05 수준에서 성능을 뛰어넘어 수명 주기 학습의 효과성을 입증한다.
• 단일 모델 기준 모델은 지식 공유 덕분에 알려지지 않은 관계에서 Sep보다 우수한 성능을 보이지만, 알려진 관계에서 치명적 잊기를 겪으며 지속적 학습 메커니즘의 필요성을 드러낸다.
• LiLi의 관계별 임계값 μr은 고정 임계값 0.5보다 뚜렷한 성능 향상을 이룩했으며, Freebase에서 p<0.05 수준에서 유의미한 개선을 보여, 알려지지 않은 관계에 대한 보다 정교한 캘리브레이션을 가능하게 한다.
• 맥락적 유사도를 사용한 추측 메커니즘은 맹목적 추측(BG)보다 p<0.05 수준에서 성능 향상을 보이며, 정보 부족 환경에서 의미적 단서가 추론을 향상시킨다는 것을 보여준다.
• 과거 작업 선택(PTS) 메커니즘은 w/o PTS 대비 성능 향상을 보이며, 특히 Freebase에서 p<0.01 수준에서 뚜렷한 향상이 있었으며, 성능이 저조한 작업에 대해 집중적인 단서 확보가 이루어졌기 때문이다.
• 더 높은 단서 확보 비율(β)일수록 성능 향상이 뚜렷하게 나타나, β=0.5일 때 β=0.05보다 알려지지 않은 관계에서 F1 점수가 5.6% 높게 나타나 사용자 피드백의 강력한 영향을 입증한다.