[논문 리뷰] Domain-specific Question Generation from a Knowledge Base.

Linfeng Song, Lin Zhao|arXiv (Cornell University)|2016. 10. 12.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 지식 기반(KB)과 웹에서 유도된 정보를 활용하여 자연스럽고 다양한, 문법적으로 올바른 질문을 생성하는 도메인 전용 질문 생성 시스템을 제안한다. 소량의 KB 기반 템플릿을 시드로 사용하여 웹 마이닝을 통해 질문 후보를 확장하고, 관련성 및 문법성 모델을 사용해 필터링함으로써, 다양한 도메인에 쉽게 적용할 수 있는 고품질의 도메인 내 질문을 생성한다.

ABSTRACT

Question generation has been a research topic for a long time, where a big challenge is how to generate deep and natural questions. To tackle this challenge, we propose a system to generate natural language questions from a domain-specific knowledge base (KB) by utilizing rich web information. A small number of question templates are first created based on the KB and instantiated into questions, which are used as seed set and further expanded through the web to get more question candidates. A filtering model is then applied to select candidates with high grammaticality and domain relevance. The system is able to generate large amount of in-domain natural language questions with considerable semantic diversity and is easily applicable to other domains. We evaluate the quality of the generated questions by human judgments and the results show the effectiveness of our proposed system.

연구 동기 및 목표

• 도메인 특화 지식 기반에서 깊이 있고 자연스럽고 의미적으로 다양한 질문을 생성하는 과제를 해결한다.
• 일반적으로 반복적이거나 비자연스러운 질문을 유도하는 템플릿 기반 질문 생성의 한계를 극복한다.
• 외부 웹 정보를 활용하여 소량의 초기 질문 템플릿을 풍부하게 하고 확장한다.
• 생성된 질문의 높은 문법성과 도메인 관련성을 보장하는 필터링 모델을 개발한다.
• 최소한의 수동 작업으로 다양한 도메인에 적용 가능한 확장 가능한 시스템을 구축한다.

제안 방법

• 도메인 특화 지식 기반의 구조와 내용을 바탕으로 소량의 초기 질문 템플릿을 생성한다.
• 초기 템플릿을 시드로 사용하여 검색 엔진이나 웹 크롤링을 통해 웹에서 추가적인 질문 후보를 마이닝한다.
• 언어적 및 의미적 특징을 사용해 후보들을 문법적 정확성과 도메인 관련성 측면에서 평가하는 필터링 모델을 적용한다.
• 웹 정보를 활용해 빠듯한 템플릿 패턴을 초월하여 생성된 질문의 의미적 다양성과 자연스러움을 향상시킨다.
• 지식 기반의 구조와 웹 스케일 데이터를 조합하여 사실적으로 기반된 동시에 언어적으로 유창한 질문을 생성한다.
• 두 단계 프로세스를 사용한다: 템플릿 인stantiation 이후 웹 확장 및 필터링을 통해 품질과 다양성을 보장한다.

실험 결과

연구 질문

• RQ1 소량의 KB 기반 템플릿을 웹 데이터를 활용해 효과적으로 대규모의 다양한 자연스러운 질문으로 확장할 수 있는가?
• RQ2 문법성과 도메인 관련성 기반으로 높은 품질의 질문과 낮은 품질의 후보를 구분하는 데 필터링 모델의 효과는 어떠한가?
• RQ3 웹 정보의 통합이 생성된 질문의 의미적 다양성과 자연스러움을 어느 정도 향상시키는가?
• RQ4 제안된 시스템은 최소한의 재구성으로 다양한 도메인에 일반화될 수 있는가?

주요 결과

• 시스템은 상당한 의미적 다양성을 지닌 대량의 도메인 내 질문을 성공적으로 생성한다.
• 인간 평가를 통해 생성된 질문이 자연스럽고 문법적으로 올바르다는 것이 확인된다.
• 필터링 모델은 관련성이 낮거나 문법적으로 잘못된 출력을 제거함으로써 질문 후보의 품질을 효과적으로 향상시킨다.
• 웹 유도 확장의 사용은 템플릿 기반 생성을 초월해 생성된 질문의 다양성과 유창성을 크게 향상시킨다.
• 최소한의 도메인 특화 튜닝으로도 다양한 도메인에 적용 가능한 확장성과 적응성을 보여준다.