[論文レビュー] Smarnet: Teaching Machines to Read and Comprehend Like Human

Zheqian Chen, Rongqin Yang+4 more|arXiv (Cornell University)|Oct 8, 2017

Topic Modeling参考文献 33被引用数 15

ひとこと要約

Smarnetは、微細なゲーティングによる語彙的理解の向上、反復的読解を模倣するためのインタラクティブなアテンションとメモリネットワーク、および答えの精練のための自己チェックメカニズムを組み合わせた、人間の読解にインspiredされた機械理解フレームワークを提案する。SQuADおよびTriviaQAにおいて、より高い答えの正確性と頑健性を実現し、最先端の性能を達成する。

ABSTRACT

Machine Comprehension (MC) is a challenging task in Natural Language Processing field, which aims to guide the machine to comprehend a passage and answer the given question. Many existing approaches on MC task are suffering the inefficiency in some bottlenecks, such as insufficient lexical understanding, complex question-passage interaction, incorrect answer extraction and so on. In this paper, we address these problems from the viewpoint of how humans deal with reading tests in a scientific way. Specifically, we first propose a novel lexical gating mechanism to dynamically combine the words and characters representations. We then guide the machines to read in an interactive way with attention mechanism and memory network. Finally we add a checking layer to refine the answer for insurance. The extensive experiments on two popular datasets SQuAD and TriviaQA show that our method exceeds considerable performance than most state-of-the-art solutions at the time of submission.

研究の動機と目的

• 既存の機械理解モデルの限界、例えば不十分な語彙的理解と非効率な質問-本文の相互作用を解消すること。
• 専用のチェックメカニズムによる予測の精錬を通じて、答え抽出の正確性を向上させること。
• アテンションとメモリネットワークを用いて、反復的読解と自己チェックを含む人間らしい読解行動（理解を繰り返し行う）を模倣すること。
• 部分品詞（POS）、固有表現認識（NER）、語句頻度（TF）、正確一致（EM）、驚異度（surprisal）、質問タイプ（QType）といった微細な語彙的属性を動的ゲーティング機構を介して統合し、語の表現を向上させること。
• マルチホップ推論と自己アライメントを組み合わせることで、オープンドメインの機械理解ベンチマークで優れた性能を達成すること。

提案手法

• 部分品詞（POS）、固有表現認識（NER）、語句頻度（TF）、正確一致（EM）、驚異度、質問タイプ（QType）といった語彙的属性に基づき、語レベルと文字レベルの表現を統合する微細な動的ゲーティング機構を導入する。
• 人間の反復的読解を模倣するために、メモリネットワークを用いたインタラクティブなアテンションを採用し、複数の推論ステップにわたり関連する文脈領域に焦点を当てる。
• 修正されたポインタネットにおける自己アライメントを用いたマルチホップチェックメカニズムを適用し、答えのスパンを精錬し、境界の局所化を向上させる。
• 自己マッチングアテンションモジュールを用いて、本文を自分自身とアライメントさせることで、ゲーティングされた表現を精錬し、文脈理解を強化する。
• 事前学習済み語埋め込みと文字レベルのワンホット符号化を入力とし、ゲーティング機構が各表現モodalの寄与度を動的に調整する。
• 最終的な答えの精錬ステップに高い重み（α > 1）を割り当てることで、答え予測を最適化し、チェック後の段階が信頼性と正確性を向上させることを示す。

実験結果

リサーチクエスチョン

• RQ1 機械理解モデルは、語彙の繰り返し、反復的読解、答えのチェックといった人間の読解戦略を、どのようによりよく模倣できるか？
• RQ2 微細な語彙的属性（例：POS、NER、驚異度）は、語の表現とその後続の理解性能をどの程度向上させることができるか？
• RQ3 インタラクティブなアテンションとメモリネットワークは、オープンドメインの機械理解における多段階推論を効果的にモデル化できるか？
• RQ4 自己アライメントを用いた専用の答えチェックメカニズムは、予測の正確性と頑健性を向上させることができるか？
• RQ5 語と文字の表現の動的ゲーティングは、SQuADおよびTriviaQAにおけるモデルの一般化性能と性能にどのように影響を与えるか？

主な発見

• Smarnetは、SQuADおよびTriviaQAデータセットにおいて、大多数の最先端手法を上回り、機械理解分野で優れた性能を示している。
• 微細な語彙的属性を用いた動的ゲーティング機構は、語の表現を顕著に向上させ、より良い文脈理解を実現している。
• インタラクティブなアテンションとメモリネットワークのコンponentsにより、モデルは人間らしい反復的読解を模倣でき、長く複雑な本文に対する推論を向上させている。
• ポインタネットにおける自己アライメントを用いた自己チェックメカニズムは、答えの境界の局所化を向上させ、スパン予測の誤りを低減している。
• 実験の結果、最終的な答えの精錬ステップに高い重み（α = 2.0）を割り当てると、最も信頼性が高く正確な予測が得られ、チェック後の段階の価値を裏付けている。
• 最初の予測と最終的な精錬の比率が約2:3のとき、モデルは最適な性能を発揮しており、初期推論と精錬の間のバランスの取れた妥当性が示されている。