[論文レビュー] Character-Level Question Answering with Attention

David Golub, Xiaodong He|arXiv (Cornell University)|Apr 4, 2016

Topic Modeling参考文献 33被引用数 91

ひとこと要約

本稿では、未学習のエンティティに対しても一般化を高めるために文字レベルの埋め込みを用いた、構造化知識ベース上の質問応答のための文字レベルエンコーダデコーダモデルを提案する。本モデルは、データ増強を一切用いず、学習データを著しく削減した状態で、70.9%の精度を達成し、先行研究の最良結果より8.2ポイント高い。また、パラメータ数は16倍も少ない。

ABSTRACT

We show that a character-level encoder-decoder framework can be successfully applied to question answering with a structured knowledge base. We use our model for single-relation question answering and demonstrate the effectiveness of our approach on the SimpleQuestions dataset (Bordes et al., 2015), where we improve state-of-the-art accuracy from 63.9% to 70.9%, without use of ensembles. Importantly, our character-level model has 16x fewer parameters than an equivalent word-level model, can be learned with significantly less data compared to previous work, which relies on data augmentation, and is robust to new entities in testing.

研究の動機と目的

• 訓練中に存在しないエンティティや述語に対しても、自然言語の質問を構造化された知識ベースクエリにマッピングする課題に対処すること。
• データ増強への依存を減らすために、未知語（OOV）エンティティや述語に対する一般化性を高めるために文字レベルモデリングを活用すること。
• ファクトイドQAタスクで高い性能を維持しつつ、コンactかつ効率的なニューラルモデルを開発すること。
• 単語レベルの教師信号がなくても、文字レベルの表現が、正確なKBクエリ生成に必要な意味的意味を捉えられることを示すこと。

提案手法

• 質問を文字単位で処理する双方向LSTMエンコーダが、入力文字の注目を伴うコンテキストベクトルを生成する。
• デコーダは、質問の文字レベルの隠れ状態に対する注目メカニズムを用い、文字レベル表現から得られる埋め込みを用いて、KBクエリをトークン単位で生成する。
• 質問、エンティティ、述語の3つを同時に学習する文字レベル埋め込みを用い、単語レベルの語彙に依存せずに意味的類似度スコアを計算する。
• 一般化された相互作用関数が、質問埋め込みとKBエントリ（エンティティまたは述語）埋め込みの意味的類似度を測定することで、各KBエントリの尤度を計算する。
• 非連続な文字スパンに注目できるソフト注目メカニズムを採用し、複雑な言語的構造を捉える能力を有する。
• エンドツーエンドで学習され、各質問に対して正しいKBクエリを生成する尤度を最大化するように最適化される。

実験結果

リサーチクエスチョン

• RQ1 文字レベルのニューラルモデルは、構造化知識ベース上の質問応答において、単語レベルモデルを上回ることができるか？
• RQ2 文字レベルモデルは、学習データに存在しない未学習のエンティティや述語に対し、どれほど一般化できるか？
• RQ3 従来のアプローチと比較して、著しく少ない学習データで、文字レベルエンコーダデコーダフレームワークが高精度を達成できるか？
• RQ4 自然言語の質問に対して文字レベルで動作する注目メカニズムが、どのような意味的パターンを学習するか？
• RQ5 文字レベルモデリングにより、KB質問応答でデータ増強の必要がなくなるか？

主な発見

• 本モデルは、Freebase2M設定で70.9%、Freebase5M設定で70.3%の精度を達成し、それぞれSOTA結果を8.2ポイントおよび6.4ポイント上回った。
• 同等の単語レベルモデルと比較して、本モデルは16倍も少ないパラメータ数を用いており、よりコンactかつ効率的なアーキテクチャを実現した。
• 未学習のエンティティに対しても、文字レベルのパターン学習のおかげで、訓練時に見られなかったアリエイション（例：'phrenology'）を正しく予測するなど、頑健な一般化性を示した。
• 注目分布の分析から、モデルは空白文字（スペース）を意味的区切りとして認識し、複雑な表記に対して非連続な文字スパンに注目していることがわかった。
• 誤差解析の結果、46%の誤りが類似した述語（例：'/music/release/track' と '/music/release/track_list'）を混同することに起因しており、より良い曖昧解消の必要性が示された。
• モデルが 'university' といった語に注目し、エンティティと述語の両方の予測に寄与していることから、エンティティと述語の記述を厳密に分離する必要がないことが示された。