[논문 리뷰] What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys

Yubin Ge, Ziang Xiao외 4명|arXiv (Cornell University)|2022. 05. 23.

Expert finding and Q&A systems인용 수 6

한 줄 요약

이 논문은 대화 기록과 외부 지식을 활용하여 정보적이고 일관성 있는 후속 질문을 생성하기 위해 지식 기반의 이단계 프레임워크를 제안한다. 인간이 애너테이션한 새로운 데이터셋과 참조 기반의 그리스 철학적 평가 지표를 도입하여, GPT 기반 베이스라인에 비해 문맥적으로 관련성 있고 명확하며 정보적인 질문 생성에서 뛰어난 성능을 보였다.

ABSTRACT

Generating follow-up questions on the fly could significantly improve conversational survey quality and user experiences by enabling a more dynamic and personalized survey structure. In this paper, we proposed a novel task for knowledge-driven follow-up question generation in conversational surveys. We constructed a new human-annotated dataset of human-written follow-up questions with dialogue history and labeled knowledge in the context of conversational surveys. Along with the dataset, we designed and validated a set of reference-free Gricean-inspired evaluation metrics to systematically evaluate the quality of generated follow-up questions. We then propose a two-staged knowledge-driven model for the task, which generates informative and coherent follow-up questions by using knowledge to steer the generation process. The experiments demonstrate that compared to GPT-based baseline models, our two-staged model generates more informative, coherent, and clear follow-up questions.

연구 동기 및 목표

• 열린 도메인 대화형 설문 조사에서 후속 질문 생성을 위한 데이터셋과 평가 기준의 부족 문제를 해결하기 위해.
• 대화 기록을 초월한 외부 지식 통합을 통해 후속 질문의 품질과 다양성을 향상시키기 위해.
• 동적이고 개인화된 설문 상호작용에서 규칙 기반 및 템플릿 기반 방법의 한계를 극복하기 위해.
• 인간의 질문 품질 판단과 일치하는 스케일러블하고 참조 기반 평가 지표를 개발하기 위해.
• 문맥 인식 및 지식 보강 기반 질문 생성을 통해 대화형 설문 조사에서 더 효과적인 정보 수집을 가능하게 하기 위해.

제안 방법

• 이단계 모델: 첫 번째 단계에서는 지식 기반에서 대화 기록을 바탕으로 관련성이 높은 엔티티-관계 쌍을 식별하여 질문 주제와 초점을 설정한다.
• 두 번째 단계에서는 대화 기록과 선택된 지식을 조건으로 삼아 GPT 기반 생성 모델이 후속 질문을 생성함으로써 관련성과 정보성 보장.
• 그리스의 원칙을 기반으로 한 참조 기반 Gricean 점수의 새로운 세트를 설계하여 관련성, 정보성, 진실성, 명확성, 일관성 측정.
• 지식 선택기에서는 사전 학습된 지식 임베딩(예: TransE)을 사용하여 질문 초점에 적합한 의미적 관련 지식을 검색.
• 프레임워크는 대화 기록, 배경 지식, 인간이 작성한 후속 질문을 포함한 새로운 인간 애너테이션 데이터셋에서 훈련 및 평가.
• 다양한 사전 학습된 언어 모델을 각 평가 차원에 맞게 사용하여 사전 학습 목표와 일치시키고 분포 이탈을 최소화.

실험 결과

연구 질문

• RQ1 대화형 설문 조사에서 후속 질문을 어떻게 생성하여 더 정보적이고 일관성 있고 문맥적으로 관련 있게 만들 수 있는가?
• RQ2 외부 지식은 후속 질문의 품질과 다양성 향상에 어느 정도 기여할 수 있는가?
• RQ3 참조 기반 평가 지표를 사용하지 않고도 그라이스 철학 원칙에 기반한 평가 지표가 후속 질문의 품질을 효과적으로 측정할 수 있는가?
• RQ4 지식 기반의 이단계 접근 방식은 GPT 기반 베이스라인에 비해 고급 수준의 설문 질문 생성에서 어떻게 비교되는가?
• RQ5 지식과 대화 기록의 통합은 열린 도메인 설문 조사에서 더 개인화되고 목표 지향적인 질문 생성을 이끌 수 있는가?

주요 결과

• 제안된 이단계 지식 기반 모델은 자동 평가 지표와 인간 평가를 통해 GPT 기반 베이스라인에 비해 유의미하게 더 정보적이고 일관성 있으며 명확한 후속 질문을 생성한다.
• 대화 기록, 애너테이션된 지식, 인간이 작성한 후속 질문을 포함한 새로운 데이터셋은 지식 기반 질문 생성의 체계적 연구를 가능하게 한다.
• 참조 기반 Gricean 점수는 인간 판단과 잘 상관되며, BLEU나 METEOR와 같은 표준 자동 평가 지표보다 더 세밀한 통찰을 제공한다.
• 지식 선택기가 Freebase에서 관련 있는 엔티티-관계 쌍을 효과적으로 식별하여 생성된 질문의 초점과 관련성을 향상시킨다.
• 정량적 지표와 정성적 분석 모두에서 경쟁 베이스라인보다 우수한 성능을 보이며, 실제 설문 조사 상황에서의 효과성을 입증한다.
• 한계로는 일반 목적 지식 기반(예: Freebase)에 의존하고 있으며, 지식 임베딩 품질로 인한 제약이 존재하여未래 연구에서 도메인 특화 지식 그래프 탐색이 필요하다.