[論文レビュー] A Syntactic Approach to Domain-Specific Automatic Question Generation

Guy Danon, Last, Mark|arXiv (Cornell University)|Dec 28, 2017

Topic Modeling参考文献 16被引用数 16

ひとこと要約

本稿では、ドメイン固有の単語埋め込みを用いた動詞の言い換えとハイパニム同定を組み合わせることで、より洗練され、非直感的な質問を生成する文法的アプローチを提案する。この手法は、テンプレートベースの方法を超えて、より深い文脈的理解を要する事実指向の質問の質を向上させる。最先端のベースラインを上回り、148個の変更された質問のうち62個が受け入れられ、文法的正確性、明確さ、意味的正確性の面で向上した。これは、単なる構文的反転をはるかに超える、より深い言語的変換によるものである。

ABSTRACT

Factoid questions are questions that require short fact-based answers. Automatic generation (AQG) of factoid questions from a given text can contribute to educational activities, interactive question answering systems, search engines, and other applications. The goal of our research is to generate factoid source-question-answer triplets based on a specific domain. We propose a four-component pipeline, which obtains as input a training corpus of domain-specific documents, along with a set of declarative sentences from the same domain, and generates as output a set of factoid questions that refer to the source sentences but are slightly different from them, so that a question-answering system or a person can be asked a question that requires a deeper understanding and knowledge than a simple word-matching. Contrary to existing domain-specific AQG systems that utilize the template-based approach to question generation, we propose to transform each source sentence into a set of questions by applying a series of domain-independent rules (a syntactic-based approach). Our pipeline was evaluated in the domain of cyber security using a series of experiments on each component of the pipeline separately and on the end-to-end system. The proposed approach generated a higher percentage of acceptable questions than a prior state-of-the-art AQG system.

研究の動機と目的

• 単純な語の一致ではなく、より深い理解を要する高品質な事実指向の質問を生成すること。
• 既存のシステムが、語彙的・構文的変化が最小限であるため、元のテキストに非常に似通った質問を生成するという限界を是正すること。
• 言語的変換と知識リソースを活用することで、サイバー・セキュリティ分野における質問の質を向上させること。
• ドメイン固有の単語埋め込みとハイパニム同定が、質問の受容性を向上させるという点での有効性を評価すること。
• 文法的正しさと意味的関連性を維持しながら、自動生成された質問の多様性と難易度を高めるパイプラインの開発

提案手法

• パイプラインは、品詞タグ付けと固有語認識を実行し、ドメイン固有の文の主要な構成要素を特定する。
• 元の文の動詞は、WordNet とドメイン固有の Word2Vec 埋め込みを組み合わせて言い換えられ、意味的に類似しているが語彙的に異なるバージョンが生成される。
• 言い換えられた文は、Heilman (2011) の構文的質問生成システムによって処理され、初期の質問-答えペアが生成される。
• 答えの語のハイパニムが WordNet を用いて自動的に同定され、より具体的な質問（例：「マルウェアの種類は何か？」）が生成される。
• 179の言語的特徴に基づくランク付けモデルを用いて質問の質を評価し、人間の専門家が受容性を検証する。
• システムは各コンponentを別々に評価し、サイバー・セキュリティ分野のデータを用いてエンドツーエンドでも評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の単語埋め込みを用いた動詞の言い換えは、ベースライン手法と比較して、自動生成された事実指向の質問の質を向上させることができるか？
• RQ2 答えにハイパニムを追加することで、質問の明確さと受容性はどの程度向上するか？
• RQ3 構文的変換と意味的知識の組み合わせは、質問の多様性と理解の深さをどのように向上させるか？
• RQ4 ドメイン固有の単語埋め込みは、質問生成における誤った類義語の置換をどの程度低減させるか？
• RQ5 本パイプラインは、サイバー・セキュリティのような実世界のドメインにおいて、文法的に正しいかつ意味的に意味のある質問をどの程度効果的に生成できるか？

主な発見

• 提案された動詞の言い換え手法により、誤った類義語の数は91個から35個に減少し、23個の追加の正しい類義語を選択し、類似度が0.5未満の33ケースでは元の動詞を保持した。
• 69個の元の文のうち、ドメイン固有の埋め込みを用いた言い換えにより、56個の質問が受容可能な質問に変換された。一方、ベースライン手法では27個の受容可能な文にとどまった。
• ハイパニム同定コンponentは、精度0.76、再現率0.97を達成し、答えの語の適切な一般化を同定する上で優れた性能を示した。
• パイプラインによって変更された148個の質問のうち、専門家が良いと評価したのは62個であり、改善された質問の受容率は42%であった。
• パイプラインによって除外された質問のうち、実際には良い質問であった割合は3.5%にとどまり、一方、変更なしのベースラインの質問では8.7%であった。これは、パイプラインが低品質な出力を効果的にフィルタリングしていることを示している。
• 本システムは、元のテキストとは明確に異なるが、文法的正しさと意味的明確性を維持した事実指向の質問を生成する点で、ベースラインを著しく上回った。