[論文レビュー] Consensus Attention-based Neural Networks for Chinese Reading Comprehension

Yiming Cui, Ting Liu+3 more|arXiv (Cornell University)|Jul 8, 2016

Topic Modeling参考文献 16被引用数 43

ひとこと要約

本論文は、公開可能な中国語読解データセットとして『People Daily』および『Children’s Fairy Tale』を提供するとともに、全クエリ語にわたる注目を統合することで回答予測を向上させる、新しいコンSENSUS ATTENTIONベースのSUM READERモデルを提案する。このモデルは、自動生成および人間評価済みのテストセットを含む複数のベンチマークで、最先端のベースラインを顕著に上回り、中国語機械読解分野における新たなベースラインを確立した。

ABSTRACT

Reading comprehension has embraced a booming in recent NLP research. Several institutes have released the Cloze-style reading comprehension data, and these have greatly accelerated the research of machine comprehension. In this work, we firstly present Chinese reading comprehension datasets, which consist of People Daily news dataset and Children's Fairy Tale (CFT) dataset. Also, we propose a consensus attention-based neural network architecture to tackle the Cloze-style reading comprehension problem, which aims to induce a consensus attention over every words in the query. Experimental results show that the proposed neural network significantly outperforms the state-of-the-art baselines in several public datasets. Furthermore, we setup a baseline for Chinese reading comprehension task, and hopefully this would speed up the process for future research.

研究の動機と目的

• 『People Daily』ニュースおよび『Children’s Fairy Tale』の2つの新規データセットをリリースすることで、大規模かつ高品質な中国語読解データセットの不足を解消すること。
• クエリの完全な表現を捉えることで注目計算を改善する、洗練されたニューラルネットワークモデルを提案し、中国語における機械読解を向上させること。
• 自動生成および人間評価済みのテストセットを用いて、今後の中国語読解研究の強固なベースラインを確立すること。
• パターンに基づく自動生成クエスチョンと現実世界の複雑な読解タスクのギャップを埋めるために、人間が評価したテストセットを導入すること。

提案手法

• クエリに含まれるすべての語を用いて文書全体に対して注目を計算する、コンセンサス注目ベースのSUM READERモデルを提案。単一のクエリ語に依存するのではなく、全語を統合的に活用する。
• 全クエリ語からの寄与を統合するコンセンサス注目メカニズムを採用し、クエリと文書の間のより強固なアライメントを実現する。
• ポインタネットにインspiredされた注目ベースのニューラルネットワークアーキテクチャを採用し、注目スコアに基づいて文書から直接答えの語を選択する。
• 2段階のトレーニング戦略を適用：大規模な自動生成データでの事前学習と、人間評価済みテストセットでのファインチューニング。
• 語レベルの注目を活用して文書の文脈に依存する表現を計算し、最も高い注目重みを持つトークンに基づいて答えを予測する。
• トレーニングデータにおいて固有表現を匿名化し、トークンを再シャッフルすることで、語彙パターンへの依存を低減し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 コンセンサス注目を用いて全クエリ語を統合的に扱うニューラルネットワークモデルは、単一語注目に依存するモデルと比較して、中国語Cloze形式読解タスクでより優れた性能を達成できるか？
• RQ2 提案モデルは、自動生成および人間評価済みのテストセットの両方で、特にパターンのない現実世界の質問をどのように処理するか？
• RQ3 人間評価済みテストセットを含めることで、完全に合成されたデータセットと比較して、読解モデルのロバスト性と一般化性能がどの程度向上するか？
• RQ4 コンセンサス注目メカニズムは、自動生成トレーニングデータに見られる語彙パターンへの過剰適合を軽減できるか？

主な発見

• 提案されたコンセンサス注目ベースのSUM READERモデルは、CNN/Daily MailおよびChildren’s Book Testの両データセットで、複数の最先端ベースラインを顕著に上回る性能を達成した。
• 人間が評価したテストセットにおいて、モデルはより困難な非反復的・自然言語形式の質問を扱う上で優れた一般化性能を示した。
• 人間が評価したテストセットの導入により、現在のモデルが現実世界のパターンのない質問に対して依然として課題を抱えていることが明らかになり、推論力と読解力の向上の余地があることが示された。
• コンセンサス注目メカニズムにより、全クエリ語からの情報を統合することで、複雑なクエリ-文書関係を的確に捉え、より正確な答え選択が可能になった。
• 重み付き和表現を必要とせず、注目スコアに基づいて文書から直接答えトークンを予測する点で、従来の注目ベースのアプローチを上回った。
• 『People Daily』および『Children’s Fairy Tale』データセットの公開により、中国語読解のための新たなベンチマークが提供された。人間が評価したテストセットは、現実世界の読解課題をより的確に反映しており、今後の研究に大きな貢献が期待される。