[論文レビュー] TabMCQ: A Dataset of General Knowledge Tables and Multiple-choice Questions

Sunil Kumar Jauhar, Peter D. Turney+1 more|arXiv (Cornell University)|Feb 12, 2016

Topic Modeling参考文献 13被引用数 13

ひとこと要約

本論文では、整理された一般知識の表から抽出された9,091個の複数選択式問題（MCQ）と、それらの問題と表のセルとの明示的な対応関係を含む大規模データセット、TabMCQを紹介する。著者らは、機械的トルク（Mechanical Turk）を用いたクラウドソーシング手法を採用し、構造的制約を課すことで、高品質で一貫性のあるMCQと、スケールに応じた対応関係の収集を実現した。この手法により、質問応答、情報抽出、意味的モデリングなどの応用が可能となる。

ABSTRACT

We describe two new related resources that facilitate modelling of general knowledge reasoning in 4th grade science exams. The first is a collection of curated facts in the form of tables, and the second is a large set of crowd-sourced multiple-choice questions covering the facts in the tables. Through the setup of the crowd-sourced annotation task we obtain implicit alignment information between questions and tables. We envisage that the resources will be useful not only to researchers working on question answering, but also to people investigating a diverse range of other applications such as information extraction, question parsing, answer type identification, and lexical semantic modelling.

研究の動機と目的

• 4年生の科学分野の内容を対象とした、準構造化された一般知識の表に根ざした大規模かつ高品質な複数選択式問題（MCQ）データセットの構築を目的とする。
• MCQに構造的制約を課すことで一貫性と品質を向上させるスケーラブルなクラウドソーシングパイプラインの開発を目的とする。
• 明示的なアノテーションを最小限に抑えつつ、問題と特定の表セルとの間の暗黙的な対応関係を収集することを目的とする。
• 質問解析、回答タイプの特定、語彙的意味論などの質問応答以外の自然言語処理タスクを支援するリソースの提供を目的とする。
• 構造化された背景知識を用いたオープンドメイン質問応答のためのニューラルモデルおよび特徴ベースのモデルのトレーニングと評価を可能にする。

提案手法

• 定義された見出しと繰り返される列パターンを持つ、一般知識の事実を表形式で含む準構造化された表のセットを収集する。
• アノテーターが個々の表の行に基づいてMCQを生成するように、Mechanical Turk上でクラウドソーシングタスクを設計し、ターゲットセルの内容を同じ行からのみ使用することを制約する。
• MCQに構造的制約を課す（例：正解はセルの値でなければならない、誤り選択肢は妥当だが誤りでなければならない）ことで、品質と一貫性を向上させる。
• 表の構造を活用して、明示的なリンクのアノテーションなしに、問題と特定の表セル、行、列との暗黙の対応関係を付与する。
• 自動的な整合性チェック（例：最小3つの選択肢、重複する選択肢なし）を適用し、低品質な提出物をフィルタリングする。
• 最終的なデータセットをクリーニングおよび精査し、破損または形式が不正なエントリを除去することで、最終的に9,091個のMCQと完全な対応メタデータを含むデータセットが得られた。

実験結果

リサーチクエスチョン

• RQ1 MCQに構造的制約を課したクラウドソーシングの設定により、スケールに応じて特定の表セルと整合した高品質で一貫性のある問題を生成できるか？
• RQ2 タスクの構造的制約のみを用いて、明示的なアノテーションなしに、問題と表セルとの間の暗黙の対応関係をどの程度まで収集できるか？
• RQ3 準構造化された表は、質問応答システムのトレーニングに背景知識としてどの程度有効か？
• RQ4 表、MCQ、対応関係情報の組み合わせが、情報抽出、回答タイプの特定、語彙的意味論モデリングなどの多様な自然言語処理タスクを支援できるか？
• RQ5 このデータセットを用いることで、既存のベンチマークと比較して、ニューラルモデルおよび特徴ベースの質問応答モデルの性能にどのような影響を与えるか？

主な発見

• 著者らは最終的に9,091個のMCQを収集したが、これは研究用に利用可能な科学試験MCQの収集と比較して、桁違いに大きな規模である。
• クラウドソーシングパイプラインは高い品質を達成しており、初期の整合性チェックで0.7％のHITが却下され、後続のクリーニング段階で追加で160個のMCQが失われたにとどまった。
• アノテーターは1つのMCQを平均70秒で完了したため、タスクは効率的かつスケーラブルであると示された。
• 小さなバージョンのデータセット（77問）を用いた予備実験では、構造的およびテキスト特徴を用いたロジスティック線形モデルが、Aristoチャレンジの社内ソルバーと同等の性能を示した。
• 本データセットには、問題と特定の表セル、行、列との明示的な対応関係が含まれており、自然言語処理タスクにおいて非常に希少で貴重な情報である。
• 本データセットは http://allenai.org/content/data/TabMCQ_v_1.0.zip にて公開されており、複数の自然言語処理研究分野での広範な再利用が可能である。