[論文レビュー] Neural Paraphrase Identification of Questions with Noisy Pretraining

Gaurav Singh Tomar, Thyago S.P.C. Duque+3 more|arXiv (Cornell University)|Apr 15, 2017

Topic Modeling参考文献 21被引用数 9

ひとこと要約

本稿では、文字n-gram埋め込みと大規模で自動収集された並び替え文コーパスを用いたノイズあり事前学習を用いて、質問の並び替え文同定のための単純ながら効果的なニューラルアプローチを提案する。単語埋め込みの代わりに文字n-gram表現を用い、Paralexで全モデルの事前学習を実施した後、Quoraデータセットで微調整することで、複雑なアーキテクチャを上回る最先端の性能を達成し、タスク固有のノイズあり事前学習の有効性を示している。

ABSTRACT

We present a solution to the problem of paraphrase identification of questions. We focus on a recent dataset of question pairs annotated with binary paraphrase labels and show that a variant of the decomposable attention model (Parikh et al., 2016) results in accurate performance on this task, while being far simpler than many competing neural architectures. Furthermore, when the model is pretrained on a noisy dataset of automatically collected question paraphrases, it obtains the best reported performance on the dataset.

研究の動機と目的

• 既存のモデルよりも単純なニューラルアーキテクチャを用いて、質問の並び替え文同定を改善すること。
• このタスクにおいて、文字n-gram埋め込みが単語埋め込みを上回るかを調査すること。
• 大規模でノイズが多く、ドメインに特化した並び替え文コーパス（Paralex）で事前学習を施すことで、小規模で人手でアノテートされたデータセット（Quora）での性能向上に寄与するかを評価すること。
• ノイズありデータで全モデルの事前学習が、埋め込み層のみの事前学習よりも優れた結果をもたらすかどうかを特定すること。

提案手法

• モデルは、単語埋め込みの代わりに文字n-gram埋め込みの和に基づく修正された入力表現を用いた、分解可能なアテンションアーキテクチャ（DecAtt）を採用する。
• 各入力シーケンスにサイズcのコンテキスト窓を適用して、局所的なフレーズ表現を形成する。
• モデルは3段階の処理を実行する：アテンション（フレーズペア間のアテンションスコアを計算）、比較（類似度ベクトルを計算）、集約（バイナリ並び替え文ラベルを予測するための別のフィードフォワードネットワークを用いる）。
• モデルは、Quoraデータセットでの微調整の前に、大規模で自動収集された並び替え文コーパスであるParalexデータセットで事前学習を行う。
• 短い単語の場合、モデルは元の単語そのものを入力として使用し、各単語に境界マーカーを追加する。
• 最終モデルでは自己アテンションが適用されており、特に長距離依存関係を捉える能力が向上している。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みの代わりに文字n-gram埋め込みを用いることで、質問の並び替え文同定の性能が向上するか？
• RQ2 大規模でノイズが多く、ドメインに特化した並び替え文コーパス（Paralex）で全モデルを事前学習することで、小規模で人手でアノテートされたデータセットでの性能向上が図れるか？
• RQ3 全モデルの事前学習が、埋め込み層のみの事前学習よりも効果的か？
• RQ4 Quoraのトレーニングデータ量が増加するに従って、モデルの性能はどのように変化するか。特に、ノイズあり事前学習と組み合わせた場合の影響は？

主な発見

• 事前学習なしの文字n-gramベースのモデル（DecAtt char）が、GloVe埋め込みを用いた単語ベースのモデルを上回る性能を示しており、文字レベル表現の優位性が裏付けられた。
• Paralexで文字n-gram埋め込みのみを事前学習したモデル（DecAtt paralex-char）は、事前学習なしのベースラインよりも顕著な性能向上を示した。
• 最も優れた性能を示したモデルであるpt-DecAtt char（Paralexで全モデルパラメータを事前学習）は、Quoraデータセットで最先端の性能を達成し、BiMPMのようなより複雑なアーキテクチャを上回った。
• ノイズあり事前学習は、トレーニングデータが限られる状況でより大きな効果を発揮する。図1の対数スケール比較から、高コストな人手アノテーションと安価なノイズあり事前学習の間のトレードオフが明確に示された。
• 事前学習済みモデルは自己アテンションを効果的に活用しており、非事前学習モデルがしばしば自己アテンションを無視するのとは対照的に、長距離依存関係をよりよく捉えている。
• 例示では、語順の変更や綴りの違いを含む微妙な並び替え文を捉えることができたが、極めて複雑な並び替え文には依然として苦戦していることがわかった。