[論文レビュー] Dataset for the First Evaluation on Chinese Machine Reading Comprehension

Yiming Cui, Ting Liu+4 more|arXiv (Cornell University)|Sep 25, 2017

Topic Modeling参考文献 11被引用数 9

ひとこと要約

本論文は、自動生成された穴埋め形式の学習データと、人間がアノテートした検証およびテストセットを備えた、中国語機械読解（CMRC-2017）の最初の大規模データセットを紹介する。このデータセットにより、強力なニューラルベースラインを用いたベンチマーク評価が可能となり、特にAoA Readerが隠しテストセットで51.53%のF1スコアを達成した。これは中国語MRC研究の発展に貢献する価値があることを示している。

ABSTRACT

Machine Reading Comprehension (MRC) has become enormously popular recently and has attracted a lot of attention. However, existing reading comprehension datasets are mostly in English. To add diversity in reading comprehension datasets, in this paper we propose a new Chinese reading comprehension dataset for accelerating related research in the community. The proposed dataset contains two different types: cloze-style reading comprehension and user query reading comprehension, associated with large-scale training data as well as human-annotated validation and hidden test set. Along with this dataset, we also hosted the first Evaluation on Chinese Machine Reading Comprehension (CMRC-2017) and successfully attracted tens of participants, which suggest the potential impact of this dataset.

研究の動機と目的

• 多様でコミュニティが利用可能なベンチマークとなるよう、大規模かつ高品質な中国語読解データセットの不足を補うことを目的とする。
• 中国語における機械読解モデルの開発と評価を支援すること、特に低リソースおよび低リソースに類似した状況を想定する。
• 中国語MRCにおける公式評価（CMRC-2017）を主催し、コミュニティ参加を促進し、モデルの比較を可能にする。
• 穴埋め形式と自然言語のユーザークエリ読解タスクの両方を提供し、現実世界の読解要件を反映する。
• 4つの公式ベースラインと隠しテストセットを公開し、公平かつ再現可能な評価を保証する。

提案手法

• 名前付きエンティティや内容語を空白に置き換えることで、子ども向け読解教材から穴埋め形式の学習データを自動生成した。
• 穴埋め形式とユーザークエリ形式の両方の検証およびテストセットを人間がアノテートし、高品質で自然な質問・回答ペアを確保した。
• ユーザークエリ形式では、穴埋め形式に比べてより自然で開放的な質問を採用し、実際のユーザー行動を模倣した。
• 4つのベースラインシステムを実装した：ランダム推測、頻出語選択、AS Reader、AoA Reader。ハイパーパrameterは元の研究と同一に保った。
• ユーザークエリ形式のタスクでは、交差検証とドロップアウトの増加を用いて、ドメイン適合と転移学習の技術を適用し、分布シフトの影響を軽減した。
• 評価は、隠しテストセットを用いた公開コンペティションを通じて実施され、モデル性能のバイアスのない評価が保証された。

実験結果

リサーチクエスチョン

• RQ1 新たに公開された大規模な中国語穴埋め形式MRCデータセットにおいて、既存のニューラル読解モデルはどの程度有効に機能するか？
• RQ2 人間がアノテートしたテストセットは、中国語のような低リソース言語におけるMRC評価の信頼性と妥当性を向上させることができるか？
• RQ3 中国語における穴埋め形式と自然言語のユーザークエリ読解タスクの間で、モデルの性能にどのような差が生じるか？
• RQ4 転移学習とドメイン適合技術は、ドメイン外のユーザークエリデータに対して、どの程度モデルの汎化性能を向上させることができるか？
• RQ5 微調整なしで、AoA Readerのような強力なニューラルベースラインが、カスタム参加者モデルを上回ることができるか？

主な発見

• AoA Readerベースラインは、ユーザークエリ形式の隠しテストセットで51.53%のF1スコアを達成し、参加者全システムを上回った。
• 穴埋め形式のタスクで最高の単一モデル参加者システムは、ECNUのアンサンブルモデルに到達できず、アンサンブル手法の重要性が浮き彫りになった。
• ユーザークエリ形式のタスクでは、参加者システムの性能が穴埋め形式に比べて著しく低かった（例：49.07% F1）、訓練データとテストデータの間で大きなドメインシフトが存在することが示された。
• 頻出語ベースラインは検証データで10.65%のF1スコアを達成し、低リソース環境下でも単純なヒューリスティクスが強力なベースラインとして機能することが示された。
• ECNUのアンサンブルシステムは、ユーザークエリ形式のテストセットで69.53%のF1スコアを達成し、ドメイン適合におけるモデルアンサンブルの有効性が裏付けられた。
• データセットとコンペティションの公開により、30名以上の参加者が集まり、中国語NLPコミュニティにおけるその関連性と影響力が裏付けられた。