[논문 리뷰] Neural Assistant: Joint Action Prediction, Response Generation, and Latent Knowledge Reasoning

Arvind Neelakantan, Semih Yavuz외 6명|arXiv (Cornell University)|2019. 10. 31.

Topic Modeling참고 문헌 24인용 수 13

한 줄 요약

Neural Assistant는 민감한 믿음 상태 애너테이션을 필요로 하지 않고, 작업 지향 대화에서 동작과 응답을 동시에 예측하는 통합 신경망을 제안한다. 응답 생성과 동작 예측에서 약한 지도를 활용하여 외부 지식 기반을 효과적으로 추론하며, Transformer와 비교해 더 높은 사실적 정확도를 달성하고, 오라클 믿음 상태가 제공될 경우 기존 베이스라인을 능가한다.

ABSTRACT

Task-oriented dialog presents a difficult challenge encompassing multiple problems including multi-turn language understanding and generation, knowledge retrieval and reasoning, and action prediction. Modern dialog systems typically begin by converting conversation history to a symbolic object referred to as belief state by using supervised learning. The belief state is then used to reason on an external knowledge source whose result along with the conversation history is used in action prediction and response generation tasks independently. Such a pipeline of individually optimized components not only makes the development process cumbersome but also makes it non-trivial to leverage session-level user reinforcement signals. In this paper, we develop Neural Assistant: a single neural network model that takes conversation history and an external knowledge source as input and jointly produces both text response and action to be taken by the system as output. The model learns to reason on the provided knowledge source with weak supervision signal coming from the text generation and the action prediction tasks, hence removing the need for belief state annotations. In the MultiWOZ dataset, we study the effect of distant supervision, and the size of knowledge base on model performance. We find that the Neural Assistant without belief states is able to incorporate external knowledge information achieving higher factual accuracy scores compared to Transformer. In settings comparable to reported baseline systems, Neural Assistant when provided with oracle belief state significantly improves language generation performance.

연구 동기 및 목표

• 분리 최적화된 구성 요소와 믿음 상태 애너테이션에 의존하는 파이프라인 기반 작업 지향 대화 시스템의 한계를 해결하기 위해.
• 응답 생성, 동작 예측, 지식 추론을 공동으로 모델링하여 대화 시스템에서 엔드 투 엔드 학습을 가능하게 하기 위해.
• 텍스트 생성 및 동작 예측 작업에서의 약한 지도를 활용하여 고비용 믿음 상태 애너테이션에 대한 의존도를 줄이기 위해.
• 저자원 및 원거리 지도 설정에서 외부 지식을 효과적으로 통합할 수 있는지 평가하기 위해.
• 단일 신경 모델이 응답 품질과 사실 일관성 측면에서 다단계 시스템을 능가할 수 있음을 입증하기 위해.

제안 방법

• 모델은 대화 히스토리와 외부 지식 기반을 입력으로 받아, 지식 트리플에 대한 크로스 어텐션을 갖는 트랜스포머 기반 아키텍처를 사용한다.
• 공동으로 시스템 응답과 다음 동작(예: restaurant-book)을 예측하기 위해 공유 및 작업별 전용 헤드를 사용한다.
• 믿음 상태 애너테이션 없이도 응답 생성 손실과 동작 예측 손실을 사용하여 엔드 투 엔드로 훈련한다.
• 디코딩 중 관련 지식 기반 트리플에 주의를 기울이는 어텐션 메커니즘을 통해 지식 기반을 달성한다.
• 원거리 지도는 지식 기반에서의 부정 예시를 사용하여 훈련 중 관측되지 않거나 잘못된 사실을 시뮬레이션한다.
• 모델은 MultiWOZ 데이터셋에서 평가되며, 지식 기반 크기와 지도 유형에 대한 아블레이션 스터디가 수행된다.

실험 결과

연구 질문

• RQ1 명시적인 믿음 상태 지도 없이도 단일 신경망이 작업 지향 대화에서 동작과 응답을 동시에 예측할 수 있는가?
• RQ2 원거리 지도 하에서 외부 지식 기반의 크기가 증가함에 따라 모델 성능은 어떻게 변하는가?
• RQ3 지식 기반 대화 생성에서 표준 트랜스포머 기반 베이스라인과 비교해 모델이 더 높은 사실적 정확도를 달성하는가?
• RQ4 오라클 믿음 상태가 제공될 경우, 모델은 기존 베이스라인 시스템과 비교해 어떻게 성능을 내는가?
• RQ5 응답 및 동작 예측에서의 약한 지도만을 사용하여 외부 지식을 효과적으로 추론할 수 있는가?

주요 결과

• 믿음 상태 애너테이션 없이도 Neural Assistant는 특히 지식 기반 크기가 작을 경우(예: 100개 트리플), 표준 트랜스포머보다 더 높은 사실적 정확도를 달성하며, 엔터티 F-1 스코어가 74.0%에 이른다.
• 지식 기반 크기가 증가함에 따라 성능은 약간 저하되며, 28,483개 트리플일 경우 엔터티 F-1 스코어가 42.9%로 떨어져 대규모 지식 기반에서의 확장성에 어려움이 있음을 시사한다.
• 오라클 믿음 상태가 제공될 경우 Neural Assistant는 BLEU와 유창성 측면에서 보고된 기존 베이스라인 시스템을 능가하는 응답 생성 성능을 보인다.
• 대규모 지식 기반에서도 모델은 높은 동작 예측 성능(F-1 최대 90.2%)을 유지하여 동작 예측에 대한 강건성을 보인다.
• 원거리 지도는 모델이 지식을 추론하도록 돕지만, 부정 예시가 증가함에 따라 성능이 저하되어 노이즈가 많은 지도에 민감함을 보인다.
• 모델은 다중 턴, 다중 의도 대화(예: 한 번의 대화에서 호텔과 레스토랑 예약)를 효과적으로 처리하여 공동 추론과 생성 능력을 입증한다.