[論文レビュー] Broad Context Language Modeling as Reading Comprehension

Zewei Chu, Hai Wang+2 more|arXiv (Cornell University)|Oct 26, 2016

Topic Modeling参考文献 8被引用数 6

ひとこと要約

この論文では、正解語が文脈に含まれる180万件のインスタンスから自動的に構築された大規模なデータセットを用いて、神経読解モデルを訓練することで、LAMBADA言語モデリングタスクを読解問題として扱う手法を提案する。このデータで訓練された注意メカニズムを備えたニューラルネットワークを活用することで、LAMBADAにおけるゼロショット言語モデリングの正確性が7.3%から49.0%に向上し、文脈に依存するニューラル読解モデルが、広い文脈における語の予測タスクにおいて、従来の言語モデルを著しく上回ることを示している。

ABSTRACT

Progress in text understanding has been driven by large datasets that test particular capabilities, like recent datasets for reading comprehension (Hermann et al., 2015). We focus here on the LAMBADA dataset (Paperno et al., 2016), a word prediction task requiring broader context than the immediate sentence. We view LAMBADA as a reading comprehension problem and apply comprehension models based on neural networks. Though these models are constrained to choose a word from the context, they improve the state of the art on LAMBADA from 7.3% to 49%. We analyze 100 instances, finding that neural network readers perform well in cases that involve selecting a name from the context based on dialogue or discourse cues but struggle when coreference resolution or external knowledge is needed.

研究の動機と目的

• 広い文脈を必要とする挑戦的な語の予測タスクを対象とするLAMBADAベンチマークにおける最先端の性能を向上させること。
• 語の予測を読解問題として扱うことで、神経読解理解モデルを言語モデリングに適応できるかを調査すること。
• 現在のモデルが困難に感じる言語現象の種類、特に共参照解消や外部知識の活用を分析すること。
• LAMBADAに類似した構造を用いて、文脈に依存する言語モデリングのための大規模かつ自動生成されたトレーニングデータセットを構築すること。
• LAMBADAのテストセットおよびコントロールセットにおける神経読解モデルと人間のパフォーマンスの一般化ギャップを評価すること。

提案手法

• 著者らは、BookCorpusから、ターゲット語が文脈に含まれる箇所を自動的に選択することで、180万件のインスタンスからなるトレーニングセットを構築し、教師あり学習を可能にした。
• 神経読解モデル（特にStanford、Attention Sum、Gated-Attention読解モデル）をこの合成データセットで訓練し、文の文脈と空白を含む質問に基づいて、文の最後の語を予測する。
• 各モデルは、文脈と質問（空白あり）を双方向RNNで符号化し、質問表現を用いて文脈の位置に注意重みを計算し、文脈ベクトルの重み付き和によって答えを選択する。
• モデルは単語埋め込みをランダム初期化から学習する形で、事前学習済み埋め込みを一切使用せずに、エンドツーエンドで訓練された。
• 注意メカニズムはモデルごとに異なる：Attention Sumでは内積、Stanfordでは双線形、Gated-Attention読解モデルではより複雑なゲート付き注意を使用する。
• 評価は元のLAMBADAテストセットで実施され、性能は最後の語を正しく予測するトップ1の正確性で測定された。

実験結果

リサーチクエスチョン

• RQ1 自動的に構築されたデータで訓練された神経読解理解モデルが、LAMBADA言語モデリングベンチマークにおける性能を著しく向上させられるか？
• RQ2 共参照、議論的推論、外部知識などの言語現象のうち、LAMBADAにおける現在の神経読解モデルが特に困難に感じるものは何か？
• RQ3 神経読解モデルの性能は、強力な言語モデリングベースラインと比べてどうか、特に正解語が文脈に存在しないインスタンスではどうか？
• RQ4 正解語が文脈に存在するかどうかが、モデルの成功にどの程度相関しているか、一般化にどのような影響を与えるか？
• RQ5 LAMBADAテストセットにおける人間のパフォーマンスの推定値は何か？また、モデルのパフォーマンスと比べてどうか？

主な発見

• 提案手法により、LAMBADAベンチマークにおける最先端の正確性が7.3%から49.0%に向上し、41.7パーセンテージポイントの向上を達成した。
• 神経読解モデルは、単純な名前選択や発話者追跡が必要なインスタンスで最も高い性能を示し、それぞれ9件および19件のインスタンスで100%および84%の正確性を達成した。
• 共参照解消や外部知識を必要とするインスタンスでは、モデルの正確性が著しく低下し、顕著な困難を示した。
• 著者らは、テストセットにおける人間のパフォーマンスを36%と推定し、最良のモデルと人間の間には14パーセンテージポイントのギャップがあると示唆した。
• 49%の正確性にもかかわらず、正解語が文脈に存在しない17%のインスタンスでモデルが失敗しており、このアプローチの主な制限を示している。
• 研究では、コントロールセット（正解語が文脈に存在しない）がテストセットよりも困難であることが判明し、両セットでのパフォーマンス順位が類似していることから、トレーニングデータが代表的であると示唆された。