[論文レビュー] Fast Reading Comprehension with ConvNets

Felix Wu, Ni Lao+3 more|arXiv (Cornell University)|Nov 12, 2017

Topic Modeling参考文献 4被引用数 17

ひとこと要約

本稿では、読解における再帰的ニューラルネットワーク（RNN）の代替として、より高速なアーキテクチャであるゲート付き線形拡張残差ネットワーク（GLDR）を提案する。LSTMを拡張畳み込みとゲート付き線形ユニットに置き換えることで、SQuADおよびTriviaQAで最先端の性能を達成するとともに、推論時間を最大2桁短縮し、遅延に敏感なアプリケーションにおけるリアルタイムデプロイを可能にする。

ABSTRACT

State-of-the-art deep reading comprehension models are dominated by recurrent neural nets. Their sequential nature is a natural fit for language, but it also precludes parallelization within an instances and often becomes the bottleneck for deploying such models to latency critical scenarios. This is particularly problematic for longer texts. Here we present a convolutional architecture as an alternative to these recurrent architectures. Using simple dilated convolutional units in place of recurrent ones, we achieve results comparable to the state of the art on two question answering tasks, while at the same time achieving up to two orders of magnitude speedups for question answering.

研究の動機と目的

• 検索エンジンやモバイルアシスタントなどのアプリケーションにおけるリアルタイムデプロイを妨げる、読解タスクにおける再帰的ニューラルネットワーク（RNN）の高い推論遅延を解消すること。
• 大規模な受容 field を持つ畳み込みアーキテクチャが、順序的なRNNの必要性を置き換えるために長距離依存関係を効果的にモデル化できるかどうかを調査すること。
• 推論時の計算コストとメモリ使用量を著しく削減しながらも、高い回答精度を維持するモデルを開発すること。
• 拡張畳み込みと残差接続、ゲート付きユニットを組み合わせたアーキテクチャが、読解ベンチマークで最先端のRNNベースのモデルと同等またはそれを上回る性能を達成できることを実証すること。

提案手法

• 畳み込みカーネルの受容 field をパrameter数を増やさずに拡大するために、拡張畳み込みを用いることで、長距離依存関係のモデル化を可能にする。
• 畳み込みの後続にゲート付き線形ユニット（GLUs）を適用し、動的特徴ゲーティングを学習することで、ReLUよりも表現力の高い特徴を実現する。
• 残差接続を用いることで、訓練の安定化と深層アーキテクチャの実現を図り、消失勾配問題を回避する。
• BiDAFおよびDrQAスタイルの読解フレームワークに、LSTMエンコーダーをGLDRブロックに置き換えることで、アーキテクチャを適用する。
• SQuADおよびTriviaQAで、標準的なスパン予測損失関数を用いて、エンドツーエンドでモデルを学習する。
• 推論を高速化するために、シーケンス全体で畳み込み演算を並列化し、RNNの順序的ボトルネックを排除する。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みを用いた畳み込みアーキテクチャが、読解タスクにおいて再帰的ネットワークを効果的に置き換えられるか。
• RQ2 ゲート付き線形ユニットと残差接続を用いることで、非順序的で畳み込みベースの設定でも性能が向上するか。
• RQ3 拡張畳み込みを用いることで、RNNと同等の性能を達成しつつ、推論遅延をどの程度短縮できるか。
• RQ4 特に自己注意機構と比較して、文書長さの増加に伴うモデルの性能スケーリングはどの程度か。
• RQ5 軽量で高速な推論を実現するモデルが、大規模な読解ベンチマークで最先端の精度を維持できるか。

主な発見

• GLDRベースのモデルは、SQuADおよびTriviaQAの両ベンチマークで最先端の性能を達成しており、最良の公開済みRNNベースのモデルと同等またはわずかに劣る性能を示している。
• TriviaQAのWikipediaスプリットにおいて、Conv DrQAモデルは競争力のある結果を達成しており、先行のSOTAと同等の性能を維持しながらも、著しく高速である。
• LSTMベースのベースラインと比較して、推論時間を最大2桁短縮しており、リアルタイムデプロイを可能にしている。
• GLDRモデルではメモリ使用量がシーケンス長に比例して増加するが、自己注意機構の2次関数的増加とは対照的であり、より長い文書へのスケーラビリティを有している。
• アブレーションスタディの結果、残差接続は収束に不可欠であり、GLUは非線形活性化関数としてReLUを上回っている。
• 平均して、モデルは33番目のトークンごとにしかエンコードを行わないことから、大きな受容 field を用いることで、長距離コンテキストが効率的に捉えられていることが示唆されている。