[論文レビュー] Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond

Zhuosheng Zhang, Hai Zhao+1 more|arXiv (Cornell University)|May 13, 2020

Topic Modeling参考文献 210被引用数 48

ひとこと要約

この調査は、コンテキスト化された言語モデル（CLM）が機械読解（MRC）をいかに変革したかを分析し、MRCデータセットとアーキテクチャを概説し、将来の方向性と未解決の課題について論じる。

ABSTRACT

Machine reading comprehension (MRC) aims to teach machines to read and comprehend human languages, which is a long-standing goal of natural language processing (NLP). With the burst of deep neural networks and the evolution of contextualized language models (CLMs), the research of MRC has experienced two significant breakthroughs. MRC and CLM, as a phenomenon, have a great impact on the NLP community. In this survey, we provide a comprehensive and comparative review on MRC covering overall research topics about 1) the origin and development of MRC and CLM, with a particular focus on the role of CLMs; 2) the impact of MRC and CLM to the NLP community; 3) the definition, datasets, and evaluation of MRC; 4) general MRC architecture and technical methods in the view of two-stage Encoder-Decoder solving architecture from the insights of the cognitive process of humans; 5) previous highlights, emerging topics, and our empirical analysis, among which we especially focus on what works in different periods of MRC researches. We propose a full-view categorization and new taxonomies on these topics. The primary views we have arrived at are that 1) MRC boosts the progress from language processing to understanding; 2) the rapid improvement of MRC systems greatly benefits from the development of CLMs; 3) the theme of MRC is gradually moving from shallow text matching to cognitive reasoning.

研究の動機と目的

• MRCの起源と発展、およびCLMsの決定的な役割を説明する。
• CLMsがMRCの性能とNLPコミュニティへ与える影響を調査する。
• MRCの範囲、データセット、評価、および典型的なアーキテクチャを定義する。
• 認知プロセスに触発された二段階のエンコーダ-デコーダ視点のMRCを提案する。
• 新たなトピック、課題、およびMRCにおける将来の機会を強調する。

提案手法

• MRCトピックとCLMの相互作用の全体的な分類を提供する。
• CLM派生物とそれらの訓練目的（MLM、PLM、AE）およびアーキテクチャ（RNN、Transformer、Transformer-XL）を比較する。
• MRC形成が伝統的なNLPタスクをQA様式またはスパンベースの形式へどのように翻訳するかを分析する。
• 主要なMRCデータセットとリーダーボードにおける実証的な発見と傾向を、旗艦のMRCデータセットとリーダーボード全体で論じる。
• 解釈可能性、推論、資源効率の良いモデル設計についての洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 CLMsは時間とともにMRCの性能と能力にどのような影響を与えてきたか？
• RQ2 どのようなアーキテクチャと訓練目的の選択がMRCの利得をもたらし、それらが認知に触発された解決戦略とどう関連するか？
• RQ3 伝統的なNLPタスクをMRCとして再定義するにはどのような方法があり、それがNLP研究に与える影響は何か？
• RQ4 現在のQA重視のベンチマークを超えてMRCを進展させるための新たなトピックと将来の機会は何か？

主な発見

• MRCの進歩はCLMsの発展と密接に結びついており、より豊かな文レベル表現を可能にしている。
• 認知プロセスに基づく二段階のエンコーダ-デコーダの視点は、MRCのアーキテクチャと手法を分類するのに役立つ。
• CLMsはMRCベンチマークで急速な性能向上を促進した一方、真の理解とパターンマッチングの区別に関する疑問を提起している。
• MRCは言語表現と他のNLPタスクへのマルチタスク転移の貴重なテストベッドとなっている。
• 将来の方向性には、解釈可能なデータセット、複雑な推論、低リソースMRC、マルチモーダルグラウンディングが含まれる。