[論文レビュー] Learning to Automatically Generate Fill-In-The-Blank Quizzes

Edison Marrese-Taylor, Ai Nakajima+2 more|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 11被引用数 3

ひとこと要約

本論文では、自然言語文から穴埋めクイズを自動生成するために、双方向LSTMを用いた2つのディープラーニングアプローチ—系列ラベリングと系列分類—を提案する。実世界の言語学習プラットフォームのデータセット（約150万件）を用いた評価において、両モデルともF1スコアと正答率が88%以上を達成し、手作業で作成されたルールや誤り選択肢の設計を一切用いずに、学習ベースで適応可能なクイズ生成の実現可能性を示している。

ABSTRACT

In this paper we formalize the problem automatic fill-in-the-blank question generation using two standard NLP machine learning schemes, proposing concrete deep learning models for each. We present an empirical study based on data obtained from a language learning platform showing that both of our proposed settings offer promising results.

研究の動機と目的

• ディープラーニングを用いて、自動穴埋めクイズ生成を系列ラベリングおよび系列分類問題として形式化すること。
• ルールベースやテンプレート駆動のクイズ生成を、ユーザーのインタラクションデータからのデータ駆動型、エンドツーエンドの学習に置き換えること。
• 実プラットフォームの使用パターンに基づいて、ユーザーの習得度やスタイルに合わせたカスタマイズされたクイズを生成することで、適応学習を可能にすること。
• 単語埋め込みによる表現学習が、文脈的に適切な空白を選択するためにどの程度有効であるかを評価すること。
• 未ラベルの実世界のユーザー生成クイズデータから、教師ありまたは弱教師ありの学習が可能であるかを検討すること。

提案手法

• 文の各トークンに、それが空白にすべきかどうかを示すラベルを割り当てる系列ラベリング問題としてタスクを形式化する。
• モデルが文から正しい語を空白化すべき語として予測する系列分類問題としてタスクを形式化する。
• 両モデルに300次元の単語埋め込みと300次元の隠れ状態を持つ双方向LSTMを用いる。
• 過学習を防ぐために、LSTM層の前後でドロップアウト率0.2を適用する。
• 両モデルを、基本学習率0.001、勾配ノルムの最大値を5にクリッピングするAdam最適化法で訓練する。
• 学習・検証・テストに70/10/20の分割を適用し、CoreNLPを用いて文単位のトークン化と品詞タグ付けを実施する。

実験結果

リサーチクエスチョン

• RQ1 双方向LSTMモデルは、クイズ生成のための最も適切な内容を空白化するのを的確に学習できるか？
• RQ2 自動穴埋めクイズ生成において、系列ラベリングと系列分類のアプローチは、性能面でどのように比較できるか？
• RQ3 言語学習プラットフォームの実際のユーザー生成クイズデータから学習したモデルは、未観測の文に対してどの程度一般化できるか？
• RQ4 品詞タグや依存構文解析などの外部特徴を一切使わず、単語埋め込みによる表現学習だけでも高品質な空白選択を達成できるか？
• RQ5 このようなモデルは、難易度やスタイルの異なるクイズを生成することで、適応学習を支援できるか？

主な発見

• 系列ラベリングモデルはテストセットでF1スコア88.80%を達成し、適合率と再現率はそれぞれ88.56%および88.34%であった。
• 系列分類モデルはテスト正答率89.31%を達成し、正しい語を空白化する性能が優れていた。
• 両モデルとも、検証セットとテストセット間で性能の低下が最小限に抑えられ、堅牢な一般化性能を示した。
• 結果から、ユーザー生成データからのエンドツーエンド学習が、ルールベースやテンプレート駆動のアプローチを効果的に置き換えることができるということが示された。
• モデルの性能から、外部特徴（品詞タグや依存構文解析など）に依存せず、単語埋め込みによる表現学習だけでも高品質な空白選択が可能であることが示された。
• 本研究は、実際のユーザーインタラクションから学習し、個々の学習スタイルや難易度レベルに応じてコンテンツをカスタマイズできる適応的クイズ生成システムの基盤を確立した。