[논문 리뷰] Think Before You Speak: Using Self-talk to Generate Implicit Commonsense Knowledge for Response Generation

Pei Zhou, Karthik Gopalakrishnan외 6명|arXiv (Cornell University)|2021. 10. 16.

Topic Modeling참고 문헌 50인용 수 4

한 줄 요약

이 논문은 단일 생성 모델을 사용하여 암묵적 공통지식을 먼저 생성하고, 그 지식에 기반해 응답을 생성하는 자기대화(self-talk) 방식을 제안한다. 이는 종단간(end-to-end) 모델에 비해 응답 품질과 공통지식 일치도를 크게 향상시키며, 인간 평가 결과 75%의 경우에서 고품질의 지식 생성을 보였다.

ABSTRACT

Implicit knowledge, such as common sense, is key to fluid human conversations. Current neural response generation (RG) models are trained end-to-end, omitting unstated implicit knowledge. In this paper, we present a self-talk approach that first generates the implicit commonsense knowledge and then generates response by referencing the externalized knowledge, all using one generative model. We analyze different choices to collect knowledge-aligned dialogues, represent implicit knowledge, and elicit knowledge and responses. We introduce three evaluation aspects: knowledge quality, knowledge-response connection, and response quality and perform extensive human evaluations. Our experimental results show that compared with end-to-end RG models, self-talk models that externalize the knowledge grounding process by explicitly generating implicit knowledge also produce responses that are more informative, specific, and follow common sense. We also find via human evaluation that self-talk models generate high-quality knowledge around 75% of the time. We hope that our findings encourage further work on different approaches to modeling implicit commonsense knowledge and training knowledgeable RG models.

연구 동기 및 목표

• 종단간 신경망 응답 생성 모델에서 암묵적 공통지식의 부족을 해결하기 위해.
• 자기대화를 통해 암묵적 지식을 외부화하는 방식이 응답 품질과 일관성에 어떻게 기여하는지 탐구하기 위해.
• 한 번의 학습 과정에서 지식과 응답을 모두 생성하는 통합 생성 모델을 개발하기 위해.
• 생성된 지식의 품질, 지식-응답 연결 정도, 전체 응답 성능을 평가하기 위해.

제안 방법

• 단일 생성 모델을 사용하여 먼저 암묵적 공통지식을 생성하고, 그 지식에 기반해 응답을 생성한다.
• 지식과 응답 간 일치를 보장하기 위해 특정 데이터 수집 전략을 통해 지식 기반 대화 데이터를 확보한다.
• 암묵적 지식를 자연어 텍스트 형태로 표현하여 모델이 접근하고 추론할 수 있도록 외부화한다.
• 한 개의 모델 아키텍처 내에서 두 단계의 생성 프로세스를 통해 지식과 응답을 유도한다.
• 인간 평가를 통해 지식 품질, 지식-응답 연결 정도, 응답 품질을 평가한다.
• 통제된 평가 지표 하에서 표준 종단간 응답 생성 모델과 자기대화 모델을 비교한다.

실험 결과

연구 질문

• RQ1 암묵적 공통지식을 생성하는 자기대화 방식이 개방형 대화에서 응답 품질을 향상시키는가?
• RQ2 생성된 지식이 맥락과 최종 응답과 얼마나 잘 일치하는가?
• RQ3 모델이 생성한 암묵적 지식의 품질은 어떠한가? 관련성과 정확도는 얼마나 높은가?
• RQ4 자기대화 모델은 종단간 응답 생성 모델에 비해 정보성과 공통지식 준수도 측면에서 어떻게 비교되는가?

주요 결과

• 자기대화 모델은 종단간 모델에 비해 훨씬 더 정보가 풍부하고 구체적인 응답을 생성한다.
• 자기대화 접근 방식은 공통지식에 더 잘 부합하여 맥락에 더 적절한 응답을 생성한다.
• 인간 평가 결과, 모델이 약 75%의 경우에서 고품질의 암묵적 지식을 생성한다.
• 자기대화 모델에서는 지식-응답 연결 정도가 더 강하며, 이는 응답이 명시적 지식에 더 잘 뿌리내리고 있음을 시사한다.
• 지식 품질, 지식-응답 연결 정도, 응답 품질의 세 가지 평가 차원에서 모두 자기대화 모델이 종단간 기준 모델을 능가한다.
• 지식 기반 과정을 외부화함으로써 더 신뢰할 수 있고 해석 가능한 응답 생성이 가능해진다.