[論文レビュー] WikiReading: A Novel Large-scale Language Understanding Task over Wikipedia

Daniel Hewlett, Alexandre Lacoste+6 more|arXiv (Cornell University)|Aug 11, 2016

Natural Language Processing Techniques参考文献 23被引用数 7

ひとこと要約

WikiReading は、1887万件のインスタンスを有する大規模で公開可能な自然言語理解ベンチマークを提供する。モデルは対応するウィキペディア記事からウィキデータの値を予測する。最も優れたモデルは、コピー機構を備えた語彙レベルのシーケンス・ツー・シーケンスアーキテクチャであり、71.8%の精度を達成した。これは、エンド・ツー・エンドのシーケンスモデルが、複雑でオープンボキャブラリーな推論タスクにおいて、従来の分類器や抽出器を上回ることを示している。

ABSTRACT

We present WikiReading, a large-scale natural language understanding task and publicly-available dataset with 18 million instances. The task is to predict textual values from the structured knowledge base Wikidata by reading the text of the corresponding Wikipedia articles. The task contains a rich variety of challenging classification and extraction sub-tasks, making it well-suited for end-to-end models such as deep neural networks (DNNs). We compare various state-of-the-art DNN-based architectures for document classification, information extraction, and question answering. We find that models supporting a rich answer space, such as word or character sequences, perform best. Our best-performing model, a word-level sequence to sequence model with a mechanism to copy out-of-vocabulary words, obtains an accuracy of 71.8%.

研究の動機と目的

• テキスト分類と情報抽出を統合した、大規模で多様性に富み、公開可能な自然言語理解ベンチマークの構築。
• 数百万ものオープンボキャブラリーな答えを伴う統一された複雑なタスクにおいて、最先端の深層ニューラルネットワークアーキテクチャの評価。
• 生テキスト上でのエンド・ツー・エンド推論に最も効果的なモデルアーキテクチャの同定、分類とシーケンス生成の両方を含む。
• 事前学習、入力の粒度（語レベル対文字レベル）、未知語語の処理が、現実世界の NLU タスクに与える影響の調査。

提案手法

• ウィキデータの記述を対応するウィキペディア記事にリンクさせることで、(ウィキペディア記事, ウィキデータプロパティ, ウィキデータの答え) のトリプルを 1887万件構築。
• すべてのタイムスタンプを人間が読み取り可能な形式に変換し、すべての入力と出力を人間が読める文字列に保証。
• 同じタスクと分割に対して、シーケンス・ツー・シーケンスモデル、分類器、RNNベースのラベルラーを含む一連の深層学習モデルを評価。
• 未知語語の処理のためのコピー機構を備えた語彙レベルのシーケンス・ツー・シーケンスモデルを実装し、一般化性能の向上を図る。
• 言語モデルの事前学習を導入して性能を向上させ、特に文字レベルモデルにおいてハイパーパrameterへの感受性を低減し、学習を加速。
• データセットを 85% 学習、10% 验証、5% テストに分割し、モデル間での一貫性のある評価を確保。

実験結果

リサーチクエスチョン

• RQ1 分類と抽出を統合した大規模でオープンボキャブラリーな自然言語理解タスクにおいて、どの深層学習アーキテクチャが最も優れた性能を示すか？
• RQ2 多様で現実世界のウィキペディアコンテンツを含む統一ベンチマークにおいて、シーケンス・ツー・シーケンスモデルは、従来の分類器や抽出器と比べてどのように性能を発揮するか？
• RQ3 言語モデルの事前学習は、リソースが限られた状況や未知語語の状況において、文字レベルモデルの性能をどの程度向上させるか？
• RQ4 異なる入力の粒度（語レベル対文字レベル）は、このタスクにおけるモデルの性能と学習の安定性にどのように影響するか？
• RQ5 エンド・ツー・エンドのモデルは、外部の NLP パipラインに依存せずに、ウィキペディア記事から任意のテキストスパンを分類およびコピーする能力を効果的に学習できるか？

主な発見

• 最も優れた性能を示したのは、未知語語対応のコピー機構を備えた語彙レベルのシーケンス・ツー・シーケンスモデルであり、WikiReadingベンチマークで 71.8% の精度を達成した。
• シーケンス・ツー・シーケンスモデルは、従来の分類器や抽出器を上回っており、とくにレルーショナルまたはカテゴリカルなプロパティで、希少または複雑な答えを有するタスクで顕著な優位性を示した。
• 言語モデルの事前学習を組み合わせた文字レベルのシーケンス・ツー・シーケンスモデルは、サブワードや語彙分割にアクセスできないにもかかわらず、語彙レベルモデルと同等の性能を達成した。
• モデル間の性能差が最も顕著に現れるのは、希少語や未知語の答えを有するプロパティにおいてであり、この場合、コピー機構とシーケンスモデリングが極めて重要である。
• 言語モデルの事前学習は、学習の安定性と最終的な性能を顕著に向上させ、特に文字レベルモデルにおいてハイパーパrameterへの感受性を低減した。
• 出力空間が豊富なモデル、特に任意のテキストシーケンスを生成できるモデルは、出力空間が制限されたモデルを上回った。これは、複雑な NLU タスクにおいて生成能力の重要性を示している。