[論文レビュー] Multi-Perspective Context Aggregation for Semi-supervised Cloze-style Reading Comprehension

Liang Wang, Sujian Li+5 more|arXiv (Cornell University)|Aug 19, 2018

Topic Modeling参考文献 27被引用数 4

ひとこと要約

本論文は、半教師ありcloze形式の読解理解のためのマルチパーソンクティブライン・コンテキストアグリゲーションネットワーク（MPNet）を提案する。複数のコンテキストアグリゲーションモジュール（それぞれが注意、グローバルな意味的特徴、n-gramといった異なる言語的視点を捉える）を組み合わせ、その後に答え予測のためのポ인터ネットワークを適用する。高品質な未ラベル付き学習例を効率的に生成するための分布マッチングサンプリング戦略を導入し、CLOTHデータセットで4.2%の絶対的改善を達成し、新たな最先端性能を実現した。

ABSTRACT

Cloze-style reading comprehension has been a popular task for measuring the progress of natural language understanding in recent years. In this paper, we design a novel multi-perspective framework, which can be seen as the joint training of heterogeneous experts and aggregate context information from different perspectives. Each perspective is modeled by a simple aggregation module. The outputs of multiple aggregation modules are fed into a one-timestep pointer network to get the final answer. At the same time, to tackle the problem of insufficient labeled data, we propose an efficient sampling mechanism to automatically generate more training examples by matching the distribution of candidates between labeled and unlabeled data. We conduct our experiments on a recently released cloze-test dataset CLOTH (Xie et al., 2017), which consists of nearly 100k questions designed by professional teachers. Results show that our method achieves new state-of-the-art performance over previous strong baselines.

研究の動機と目的

• CLOTHのような高品質で手作業で整備されたcloze形式データセットでは、ニューラルモデルと人的性能のギャップを是正すること。これらのデータセットは自動生成されたものよりも困難である。
• cloze形式読解理解におけるラベル付きデータの不足という制約を、半教師あり学習によって未ラベルテキストを活用することで克服すること。
• 複数の言語的視点（例：注意、グローバルな意味的特徴、語の連接）を同時にモデル化することで、モデルの一般化性能を向上させること。
• ラベル付きデータと未ラベル付きデータ間の候補語分布を一致させる分布に配慮したサンプリング戦略を用いた、サンプル効率の高いデータ拡張手法を開発すること。
• 多様な質問タイプ（推論、文法、語の連接など）を含むCLOTHベンチマークで最先端性能を達成すること。

提案手法

• モデルは並列なアグリゲーションモジュールを備えたマルチパーソンクティブラインアーキテクチャを採用しており、各モジュールが異なる言語的視点（注目、反復的拡張畳み込みによるグローバル意味的特徴、n-gram、ニューラル言語モデル）からコンテキストを処理する。
• 各アグリゲーションモジュールは、可変長のコンテキストと候補選択肢を、コンテキストと候補の関係の異なる側面を捉える固定長のベクトルに縮約する。
• 全モジュールの出力を連結し、1ステップのポインタネットワークに供給することで、最終的な答えトークンを予測する。
• ラベル付きデータと未ラベル付きデータ間の候補語分布を一致させるための新しい半教師ありサンプリング機構を提案する。これにより、ストップワードやOOV（未知語）を軽減しつつ、意味のある内容語を保持する。
• ラベル付きデータの分布統計を直接用いることで、外部の補助モデルを訓練せずに、未ラベルコーパスから合成学習例を構築する指針を得る。
• 本手法は、CLOTHデータセット上で評価され、CLOTH学習セット、RACE、Wikipediaといったバックグラウンドコーパスを用いて未ラベル例を生成する。

実験結果

リサーチクエスチョン

• RQ1 CLOTHのような困難で手作業で整備されたcloze形式読解データセットにおいて、マルチパーソンクティブライン・コンテキストアグリゲーションフレームワークは性能向上をもたらすか？
• RQ2 ラベル付きデータが限られる状況で、未ラベルデータを効果的に活用することでモデルの一般化性能を向上させることは可能か？
• RQ3 データ拡張のための分布マッチングサンプリング戦略は、従来の手法に比べてサンプル効率と性能向上の面で優れているか？
• RQ4 注目、言語モデル、拡張畳み込みなどの異なるアグリゲーションモジュールは、cloze形式の質問における多様な言語的現象をどの程度効果的にモデル化できるか？
• RQ5 外部事前学習や複雑な補助モデルに依存せずに、半教師ありアプローチがCLOTHで最先端性能を達成できるか？

主な発見

• 提案されたMPNetモデルは、CLOTHデータセットで新たな最先端性能を達成し、以前の強力なベースラインを4.2%の精度向上で上回った。
• 候補語の分布マッチングに基づく半教師あり学習戦略は、訓練データのわずかな割合でもモデル性能を顕著に向上させ、高いサンプル効率を示した。
• CLOTH学習セットをバックグラウンドコーパスとして用いることで最高の性能が得られ、次にRACE、その後にWikipediaが続く。これは、コーパスの質と分布の整合性がデータ拡張において極めて重要であることを示している。
• マルチパーソンクティブライン設計により、推論、文法、語の連接といった多様な質問タイプを、単一視点モデルよりも効果的に処理できるようになった。
• アブレーションスタディの結果、各アグリゲーションモジュールが独自に貢献しており、特に言語モデルと注目ベースのモジュールが語の連接や照合タイプの質問に対して顕著に有効であることが確認された。
• 外部事前学習や補助モデルを一切用いなくても、強力な性能が達成された。これは、提案されたデータ拡張法とアーキテクチャ設計の有効性を示している。