[論文レビュー] Emergent Logical Structure in Vector Representations of Neural Readers.

Hai Wang, Takeshi Onishi+2 more|arXiv (Cornell University)|Nov 23, 2016

Topic Modeling参考文献 23被引用数 4

ひとこと要約

本稿は、ニューラルリーダーのベクトル表現における発生的論理構造を調査し、Attention-Sum やゲート付きアテンションといったアグリゲーションリーダーが、明示的なリファレンスアーキテクチャに類似した論理的関係を暗黙的にエンコードしていることを示している。さらに、既存のニューラルリーダーに言語的特徴を組み込むことで性能が著しく向上し、Who-did-What データセットで最先端の結果を達成した。

ABSTRACT

Reading comprehension is a question answering task where the answer is to be found in a given passage about entities and events not mentioned in general knowledge sources. A significant number of neural architectures for this task (neural readers) have recently been developed and evaluated on large cloze-style datasets. We present experiments supporting the existence of logical structure in the hidden state vectors of such as the Attentive Reader and Stanford Reader. The logical structure of aggregation readers reflects the architecture of reference such as the Attention-Sum Reader, the Gated Attention Reader and the Attention-over-Attention Reader. This relationship between aggregation readers and explicit reference readers presents a case study in emergent logical structure. In an independent contribution, we show that the addition of linguistics features to the input to existing neural readers significantly boosts performance yielding the best results to date on the Who-did-What datasets.

研究の動機と目的

• ニューラルリーダーの隠れ状態ベクトルが、発生的論理的構造を示すかどうかを調査すること。
• 構造的整合性の観点から、アグリゲーションリーダーと明示的リファレンスリーダーの関係を分析すること。
• ニューラルリーダーモデルに言語的特徴を追加した場合の、読解性能への影響を評価すること。
• Who-did-What のクローズ形式読解ベンチマークで最先端の性能を達成すること。

提案手法

• 隠れ状態表現の分析を目的として、アテンショントリーダーやスタンフォードリーダーといった既存のニューラルリーダーモデルを用いて実験を実施した。
• アグリゲーションリーダー（例：Attention-Sum、ゲート付きアテンション、Attention-over-Attention）と明示的リファレンスリーダーを比較し、構造的類似性を同定した。
• 既存のニューラルリーダーの入力に言語的特徴を統合することで、その読解能力を向上させた。
• 性能評価は、クローズ形式読解ベンチマークであるWho-did-Whatデータセットを用いて実施した。

実験結果

リサーチクエスチョン

• RQ1 ニューラルリーダーの隠れ状態ベクトルは、明示的なアーキテクチャ設計に類似した発生的論理的構造を示すか？
• RQ2 アグリゲーションリーダーの構造的パターンは、明示的リファレンスリーダーとどのように比較されるか？
• RQ3 言語的特徴の追加が、ニューラル読解理解モデルの性能にどの程度向上効果をもたらすか？
• RQ4 言語的特徴の統合により、Who-did-What データセットで最先端の結果が達成可能か？

主な発見

• Attention-Sum リーダーのようなアグリゲーションリーダーの隠れ状態ベクトルは、明示的リファレンスアーキテクチャと整合する論理的構造を示している。
• ゲート付きアテンションリーダーやAttention-over-Attentionリーダーは、明示的リファレンス機構と構造的に類似しており、発生的論理的組織の兆候を示している。
• 既存のニューラルリーダーに言語的特徴を追加することで、Who-did-What データセットにおける性能が著しく向上した。
• 改善されたモデルは、Who-did-What ベンチマークでこれまでで最高の結果を達成し、新たな最先端水準を確立した。