[논문 리뷰] Question Generation from a Knowledge Base with Web Exploration

Linfeng Song, Lin Zhao|arXiv (Cornell University)|2016. 10. 12.

Topic Modeling참고 문헌 17인용 수 12

한 줄 요약

이 논문은 지식 기반에서 생성된 소규모 템플릿 기반 질문을 웹 검색을 활용해 확장함으로써 인간의 노력을 크게 줄이는 질문 생성 시스템을 제안한다. 기존 질문을 반복적으로 검색 엔진에 입력하고 유창하고 도메인 관련성이 높은 후보를 선별함으로써, 신경 기계 번역 기반 모델보다 더 자연스럽고 문법적으로 올바른 질문을 생성한다. 이는 Freebase 삼항관계에 대한 인간 평가를 통해 확인되었다.

ABSTRACT

Question generation from a knowledge base (KB) is the task of generating questions related to the domain of the input KB. We propose a system for generating fluent and natural questions from a KB, which significantly reduces the human effort by leveraging massive web resources. In more detail, a seed question set is first generated by applying a small number of hand-crafted templates on the input KB, then more questions are retrieved by iteratively forming already obtained questions as search queries into a standard search engine, before finally questions are selected by estimating their fluency and domain relevance. Evaluated by human graders on 500 random-selected triples from Freebase, questions generated by our system are judged to be more fluent than those of ewcite{serban-EtAl:2016:P16-1} by human graders.

연구 동기 및 목표

• 대규모 인간 주석 데이터가 아닌 웹 자원을 활용해 지식 기반에서 질문 생성에 필요한 인간 노동을 줄이기 위해.
• 신경 기계 번역 접근 방식과 비교해 생성된 질문의 유창성과 자연스러움을 향상시키기 위해.
• 웹 콘텐츠의 변화에 따라도 지속적으로 관련성이 유지되는 확장 가능한 자가 업데이트 시스템을 제공하기 위해.
• 검색 기반 검색을 통해 질문 커버리지를 확장하면서도 도메인 관련성을 유지하는 방법을 개발하기 위해.

제안 방법

• 지식 기반의 각 술어에 대해 수동으로 작성된 질문 템플릿을 생성하며, 주어와 목적어 엔터티를 위한 자리 표시자(플레이스홀더)를 포함한다.
• 이 템플릿을 지식 기반의 삼항관계에 적용하여 시드 질문을 생성한다.
• 기존 질문을 표준 검색 엔진(예: Google)의 검색 쿼리로 사용하여 웹에서 관련 질문을 검색함으로써 질문 확장을 수행한다.
• 새로 확보한 질문을 기반으로 반복적으로 검색 엔진에 질의하여 질문 집합을 점진적으로 확장하며, 집합 기반 추적 메커니즘을 통해 중복을 방지한다.
• 언어 모델링과 도메인 분류를 조합한 방법으로 유창성과 도메인 관련성을 추정하며, 도메인 관련성은 도메인 특화 문서 클러스터의 단어 임베딩 평균과 코사인 유사도를 통해 계산된다.
• 최종 후보 집합은 유창성 및 관련성 점수 기반으로 필터링되어 고품질의 자연스러운 질문을 생성한다.

실험 결과

연구 질문

• RQ1 웹 검색을 활용해 소규모 시드 질문 세트를 대규모이고 다양한 유형의 자연스러운 질문 코퍼스로 확장할 수 있는가?
• RQ2 웹 탐색을 통해 생성된 질문의 유창성과 자연스러움은 신경 기계 번역 모델에 비해 어떻게 비교되는가?
• RQ3 확장 가능한 질문 생성 과정에서 인간 주석 데이터를 광범위하게 요구하지 않고도 도메인 관련성을 유지할 수 있는가?
• RQ4 기존의 토픽 모델링 방법에 비해 단어 임베딩은 도메인 관련성 추정에 얼마나 더 효과적인가?

주요 결과

• 인간 평가자들이 제안된 시스템이 생성한 질문이 신경 기계 번역 기반 기준 모델에 비해 유창성과 자연스러움 측면에서 유의미하게 높은 평가를 받았으며, 두 지표 모두 평균 점수가 높았다.
• 웹 스니펫 데이터셋에서 도메인 분류 정밀도가 85.65를 기록하여, LDA나 다중 해상도 토픽을 사용한 이전 최고 성능 기법을 능가했다.
• 내부 개발한 파wr 툴 도메인 지식 기반에서, 12,228개의 시드 질문으로부터 20,000개의 확장된 질문을 생성했으며, 대부분 문법적으로 올바르고 도메인과 관련성이 높았다.
• 단어 임베딩이 기존의 토픽 모델(예: LDA)보다 도메인 용어 간 의미 유사성(예: 'finance'와 'economy')을 더 효과적으로 포착함을 입증했다.
• 시스템은 '라우터 없이 나무에 홈을 잘라내는 방법은 무엇인가?'와 같은 복잡하고 정보가 풍부한 질문도 성공적으로 생성하여 단순한 사실 기반 질의를 넘어서는 능력을 보였다.
• 이 방법은 소수의 질문 템플릿 작성 외에는 최소한의 인간 노력만 요구하면서도 고품질의 결과를 달성했다.