[論文レビュー] ReCO: A Large Scale Chinese Reading Comprehension Dataset on Opinion

BingningWang, Ting Yao+3 more|arXiv (Cornell University)|Jun 22, 2020

Topic Modeling参考文献 36被引用数 4

ひとこと要約

ReCOは、実際の検索クエリから抽出された30万件の意見ベースの質問を含む大規模で人手でアノテートされた中国語読解理解データセットです。オリジナルの本文と選別済みの支援証拠を提供しており、因果的・論理的推論などの深い推論スキルを要します。強力なベースラインにもかかわらず、BERTの正答率は77%にとどまり、人間の性能92%と比較すると、機械による読解理解の難易度が顕著に浮き彫りになります。

ABSTRACT

This paper presents the ReCO, a human-curated ChineseReading Comprehension dataset on Opinion. The questions in ReCO are opinion based queries issued to the commercial search engine. The passages are provided by the crowdworkers who extract the support snippet from the retrieved documents. Finally, an abstractive yes/no/uncertain answer was given by the crowdworkers. The release of ReCO consists of 300k questions that to our knowledge is the largest in Chinese reading comprehension. A prominent characteristic of ReCO is that in addition to the original context paragraph, we also provided the support evidence that could be directly used to answer the question. Quality analysis demonstrates the challenge of ReCO that requires various types of reasoning skills, such as causal inference, logical reasoning, etc. Current QA models that perform very well on many question answering problems, such as BERT, only achieve 77% accuracy on this dataset, a large margin behind humans nearly 92% performance, indicating ReCO presents a good challenge for machine reading comprehension. The codes, datasets are freely available at https://github.com/benywon/ReCO.

研究の動機と目的

• 既存のMRCデータセットが事実系の質問に集中しており、長くノイズの多い文書に依存するという限界を是正するため。
• 検索エンジンからの実際の世界のクエリに焦点を当てた、大規模で高品質な中国語MRCデータセットを構築するため。
• 回答選択に依存するのを減らすために、選別済みの支援証拠を提供し、モデルの推論能力に集中させるため。
• 因果的・論理的推論のような複雑な推論を要するMRCタスクの難易度を評価するため。
• 現在のモデルと人間の性能の差が、深いテキスト理解における真の難易度を明らかにするベンチマークを確立するため。

提案手法

• 質問は実際のユーザー検索クエリから収集され、Yes/No/Unknownで回答可能なようにフィルタリングされる。
• クラウドワーカーが1クエリあたり10件の文書を検索し、そのうちの1つから関連性の高い支援証拠スニペットを抽出する。
• アノテーターが証拠に基づいて3つの候補回答（Yes、No、Uncertain）を提供し、要約的推論を保証する。
• データセットには完全な本文と抽出された証拠の両方が含まれており、回答選択と推論の分析が可能になる。
• きめ細やかな品質点検プロセスを実施することで、高いデータ信頼性を確保し、ノイズを低減する。
• BERT、BiDAF、ELMoなどのモデルがReCOで微調整され、BERTは[CLS]トークンの後に候補回答を連結することで複数選択分類に適応される。

実験結果

リサーチクエスチョン

• RQ1 選別済みの証拠を備えた大規模な意見ベースのMRCデータセットは、従来の事実中心のデータセットと比較して、推論の複雑さにおいてどのように異なるか？
• RQ2 BERTのような現在の事前学習モデルは、深い推論を要する意見ベースで非事実系の質問にどの程度一般化できるか？
• RQ3 支援証拠の導入により、回答選択の誤りの影響が軽減され、モデルの推論能力がより明確に分離できるか？
• RQ4 最先端モデルと人間の性能の差は、MRCにおける推論の真の難易度をどのように反映しているか？
• RQ5 因果的推論や論理的推論といった推論スキルの中で、現在のモデルがこのデータセットで最も困難に感じるのはどれか？

主な発見

• ReCOデータセットには、30万件の高品質で人手でアノテートされた意見ベースの質問が含まれており、同種のデータセットとしては世界最大級である。
• 現在のモデル、特に微調整済みBERTでさえ、ReCOでは77%の正答率にとどまり、人間の92%の性能と比べて顕著に低い。
• 相対的改善（RI）インデックスは、モデルと人間の間の性能ギャップが大きく、難易度が高いことを示している。
• 支援証拠ではなく完全な本文を使用した場合、モデルの性能は著しく低下し、回答選択が依然として主要な課題であることが確認された。
• BERTは語彙的・構文的タスクでは良好に機能するが、因果的・論理的推論のような深い推論スキルには苦戦しており、知識統合の強化が求められる。
• 誤り分析から、強力な事前学習を経たモデルでも、特定の世界知識や複雑な推論を要する質問では失敗することが判明し、より洗練された推論メカニズムの必要性が浮き彫りになった。