[論文レビュー] Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension

Hongyu Gong, Yelong Shen+3 more|arXiv (Cornell University)|May 16, 2020

Topic Modeling参考文献 29被引用数 4

ひとこと要約

本論文は、長文の機械的読解（MRC）のための再帰的チャンク化機構（RCM）を提案する。この機構により、モデルは長大な文書を動的かつ強化学習で最適化されたチャンクに分割し、再帰的ネットワークを用いてセグメント間で文脈情報を伝達できる。この手法により、CoQA、QuAC、TriviaQAの各ベンチマークで不完全な予測を低減し、セグメント間の推論を強化することで、回答スパンのカバレッジと性能が向上する。

ABSTRACT

In this paper, we study machine reading comprehension (MRC) on long texts, where a model takes as inputs a lengthy document and a question and then extracts a text span from the document as an answer. State-of-the-art models tend to use a pretrained transformer model (e.g., BERT) to encode the joint contextual information of document and question. However, these transformer-based models can only take a fixed-length (e.g., 512) text as its input. To deal with even longer text inputs, previous approaches usually chunk them into equally-spaced segments and predict answers based on each segment independently without considering the information from other segments. As a result, they may form segments that fail to cover the correct answer span or retain insufficient contexts around it, which significantly degrades the performance. Moreover, they are less capable of answering questions that need cross-segment information. We propose to let a model learn to chunk in a more flexible way via reinforcement learning: a model can decide the next segment that it wants to process in either direction. We also employ recurrent mechanisms to enable information to flow across segments. Experiments on three MRC datasets -- CoQA, QuAC, and TriviaQA -- demonstrate the effectiveness of our proposed recurrent chunking mechanisms: we can obtain segments that are more likely to contain complete answers and at the same time provide sufficient contexts around the ground truth answers for better predictions.

研究の動機と目的

• 長文を処理するTransformerベースのMRCモデルにおける固定長入力制約の限界を解消すること。
• 等サイズで重複のないチャンク化による一般化性能の低さを克服し、回答スパンを逃すリスクや文脈の一貫性の喪失を回避すること。
• 強化学習を用いて最適なセグメント境界を学習することで、固定されたストライドサイズに依存するのを減らし、回答予測を改善すること。
• 再帰的メカニズムを用いてセグメント間の情報伝達を可能とし、長文の遠く離れたスパン間での推論を支援すること。
• 会話型およびオープンドメインのデータセットを含む、多様な長文コンテキストMRCベンチマークで一貫した性能向上を示すこと。

提案手法

• 強化学習で訓練されたポリシーネットワークを導入し、次に処理するセグメントを決定することで、前向きまたは後ろ向きの両方向で柔軟かつ適応的なチャンク化を可能にする。
• LSTMまたはゲート付き再帰メカニズムを用いて、セグメント間で隠れ状態を保持・更新し、個々のセグメントを超えた情報伝達を実現する。
• 各セグメントの入力をBERTまたはBERT-Largeでエンコードし、回答抽出のための文脈表現を生成する。
• 各セグメントが回答を含む可能性の高さを評価するチャンクスコアラーを統合し、複数のセグメントからの予測をスコアに基づいてアンサンブル化する。
• 回答予測性能に基づいてチャンク化意思決定を最適化するため、ポリシー勾配目的関数を用いてモデルをエンドツーエンドで訓練する。
• 回答スパンがセグメント中央に位置するように最適化するため、チャンク化中に前後両方向への移動を許容する。

実験結果

リサーチクエスチョン

• RQ1 固定ストライドによるチャンク化と比較して、強化学習に基づくチャンク化ポリシーは、長文MRCにおける回答スパンのカバレッジを向上させることができるか？
• RQ2 セグメント間で再帰的メカニズムを組み込むことで、クロスセグメントの文脈伝達が可能になり、回答予測性能が向上するか？
• RQ3 回答スパンの位置がセグメント中央からの相対的位置に与える影響は何か？そして、動的チャンク化はこの問題を緩和できるか？
• RQ4 提案されたRCM手法は、CoQA、QuAC、TriviaQAといった多様な長文コンテキストMRCデータセットでどの程度の性能向上を達成するか？
• RQ5 ポリシー勾配によるエンドツーエンド訓練を通じて、モデルは不適切なチャンク化パターン（例：不完全な回答、文脈の保持不足）を学習から回避できるか？

主な発見

• LSTM再帰を用いたBERT-RCMは、CoQAで79.7%のセグメントヒット率を達成し、BERT-Largeの54.0%を顕著に上回り、情報量の多いセグメントの選択が優れていることを示している。
• CoQAにおいて、BERT-RCMにLSTMを適用した場合、最初の3つのセグメントにおける平均回答チャンク中心距離は32.5トークンにまで低下したのに対し、BERT-Largeでは96トークンであった。これは、回答スパンに適切に一致していることを示している。
• チャンクスコアラーは、正解の回答を含むセグメントに対して0.90の高いスコアを付与しており、関連するセグメントの特定が効果的に行われていることを裏付けている。
• ゲート付き再帰を用いたBERT-RCMは、QuACで44.9%のセグメントヒット率を達成し、BERT-Largeの34.1%と比較して10.8%の向上を示しており、回答を含むセグメントへの注目が強化されていることを示している。
• BERT-Largeがセグメント境界付近で文脈不足により予測誤差を生じやすいのに対し、モデルは動的チャンク境界の調整を学習することで、境界近辺の予測誤差を低減している。
• CoQA、QuAC、TriviaQAにおける広範な実験から、最先端のBERTベースモデルよりも一貫した性能向上が確認され、RCMの多様な長文コンテキストMRCタスクへの有効性が裏付けられた。