[논문 리뷰] A Syntactic Approach to Domain-Specific Automatic Question Generation

Guy Danon, Last, Mark|arXiv (Cornell University)|2017. 12. 28.

Topic Modeling참고 문헌 16인용 수 16

한 줄 요약

이 논문은 도메인 특화 자동 질문 생성을 위한 문법 기반 접근법을 제안하며, 도메인 특화 워드 임베딩를 사용한 동사 어원화 및 하위어 식별을 통해 더 어려운 비직역적 질문을 생성함으로써 사실기반 질문의 품질을 향상시킨다. 이 방법은 최첨단 기준보다 뛰어나며, 수정된 148개의 질문 중 62개가 수용 가능하게 생성되었으며, 단순한 문법 뒤집기 초과하는 깊은 언어학적 변환을 통해 유창성, 명확성 및 의미 정확성이 향상되었다.

ABSTRACT

Factoid questions are questions that require short fact-based answers. Automatic generation (AQG) of factoid questions from a given text can contribute to educational activities, interactive question answering systems, search engines, and other applications. The goal of our research is to generate factoid source-question-answer triplets based on a specific domain. We propose a four-component pipeline, which obtains as input a training corpus of domain-specific documents, along with a set of declarative sentences from the same domain, and generates as output a set of factoid questions that refer to the source sentences but are slightly different from them, so that a question-answering system or a person can be asked a question that requires a deeper understanding and knowledge than a simple word-matching. Contrary to existing domain-specific AQG systems that utilize the template-based approach to question generation, we propose to transform each source sentence into a set of questions by applying a series of domain-independent rules (a syntactic-based approach). Our pipeline was evaluated in the domain of cyber security using a series of experiments on each component of the pipeline separately and on the end-to-end system. The proposed approach generated a higher percentage of acceptable questions than a prior state-of-the-art AQG system.

연구 동기 및 목표

• 간단한 단어 매칭이 아닌 더 깊은 이해가 요구되는 고품질의 사실기반 질문을 생성하기 위해.
• 기존 시스템이 최소한의 어휘적 또는 문법적 변형으로 인해 소스 텍스트와 너무 유사한 질문을 생성하는 한계를 해결하기 위해.
• 언어학적 변환과 지식 자원을 활용하여 사이버 보안 도메인에서 질문 품질을 향상시키기 위해.
• 도메인 특화 워드 임베딩와 하위어 식별이 질문 수용 가능성 향상에 미치는 영향을 평가하기 위해.
• 문법적 정확성과 의미적 관련성을 유지하면서 질문의 다양성과 난이도를 높이는 파이프라인 개발하기 위해.

제안 방법

• 파이프라인은 도메인 특화 문장의 핵심 구성 요소를 식별하기 위해 품사 태깅과 명명된 실체 인식을 수행한다.
• 소스 문장의 동사를 WordNet과 도메인 특화 Word2Vec 임베딩의 조합을 사용하여 의미적으로 유사하지만 어휘적으로 다른 변형으로 어원화한다.
• 어원화된 문장을 Heilman(2011)의 문법 기반 질문 생성 시스템에 통과시켜 초도 질문-답변 쌍을 생성한다.
• 답안어의 하위어를 WordNet을 사용해 자동으로 식별하여 더 구체적인 질문을 생성한다(예: '어떤 종류의 악성코드인가요?' → '악성코드는 무엇인가요?').
• 179개의 언어학적 특징을 기반으로 한 랭킹 모델을 사용해 질문 품질을 평가하며, 인간 전문가가 수용 가능성 여부를 검증한다.
• 시스템은 각 구성 요소를 별도로 평가한 후 사이버 보안 도메인 데이터를 사용해 종단 간(end-to-end)으로 평가한다.

실험 결과

연구 질문

• RQ1 도메인 특화 워드 임베딩를 사용한 동사 어원화가 기준 방법에 비해 자동 생성된 사실기반 질문의 품질 향상에 기여하는가?
• RQ2 답안어에 하위어를 추가함으로써 생성된 질문의 구체성과 수용 가능성은 어느 정도 향상되는가?
• RQ3 문법적 변환과 의미 지식의 조합이 질문의 다양성과 이해 깊이를 어떻게 향상시키는가?
• RQ4 도메인 특화 워드 임베딩는 질문 생성 과정에서 잘못된 동의어 대체를 어느 정도 줄이는가?
• RQ5 실제 도메인인 사이버 보안 분야에서 문법적으로 정확하고 의미적으로 의미 있는 질문을 생성하는 데 파이프라인은 얼마나 효과적인가?

주요 결과

• 제안된 동사 어원화 방법은 유사도가 0.5 이하인 33개의 경우에서 원래 동사를 유지하고 23개의 추가 정확한 동의어를 선택함으로써 잘못된 동의어 수를 91개에서 35개로 감소시켰다.
• 69개의 소스 문장 중 도메인 특화 임베딩를 사용해 어원화한 결과 56개의 문장이 수용 가능한 질문으로 생성되었으며, 기준 방법을 사용한 경우는 단지 27개의 수용 가능한 문장에 그쳤다.
• 하위어 식별 구성 요소는 정밀도 0.76과 재현율 0.97을 기록하여 답안어의 적절한 일반화를 식별하는 데 강력한 성능을 보였다.
• 파이프라인에 의해 수정된 148개의 질문 중 전문가 평가자들이 수용한 질문은 62개로, 향상된 질문의 수용률은 42%에 달했다.
• 파이프라인에서 기각된 질문 중 실제로 양호한 질문은 3.5%에 불과했으며, 수정되지 않은 기준 방법의 경우 8.7%였다는 점에서, 파이프라인이 저품질 출력을 효과적으로 걸러내는 것으로 나타났다.
• 파이프라인이 소스 텍스트와 다를 뿐 아니라 문법적 정확성과 의미적 명확성을 유지하는 사실기반 질문 생성에서 기준 방법을 크게 능가했다.