[論文レビュー] Neural Paraphrase Generation with Stacked Residual LSTM Networks

Aaditya Prakash, Sadid A. Hasan+5 more|arXiv (Cornell University)|Oct 10, 2016

Natural Language Processing Techniques参考文献 49被引用数 221

ひとこと要約

本論文は、パラフレーズ生成のためのスタック型残差LSTMネットワークを提案し、複数の大規模データセットに対してさまざまな深層学習ベースラインを上回ることを示している。残差接続により、より深いLSTMsの訓練が可能となり、パラフレーズ品質が向上する。

ABSTRACT

In this paper, we propose a novel neural approach for paraphrase generation. Conventional para- phrase generation methods either leverage hand-written rules and thesauri-based alignments, or use statistical machine learning principles. To the best of our knowledge, this work is the first to explore deep learning models for paraphrase generation. Our primary contribution is a stacked residual LSTM network, where we add residual connections between LSTM layers. This allows for efficient training of deep LSTMs. We evaluate our model and other state-of-the-art deep learning models on three different datasets: PPDB, WikiAnswers and MSCOCO. Evaluation results demonstrate that our model outperforms sequence to sequence, attention-based and bi- directional LSTM models on BLEU, METEOR, TER and an embedding-based sentence similarity metric.

研究の動機と目的

• パラフレーズ生成をニューラルなシーケンス対シーケンス課題として動機づけ、ルールベースまたはSMTベースのアプローチを超える。
• パラフレーズ生成のために、残差接続を備えた深いLSTMアーキテクチャを提案し、より深いエンコーダ/デコーダの訓練を可能にする。
• 標準的な評価指標で大規模なパラフレーズデータセットに対するモデルの有効性を実証する。
• スタック型残差LSTMを、Seq2Seq、アテンションベース、双方向LSTMモデルを含むいくつかのベースラインと比較する。
• 多様なデータセット（PPDB、WikiAnswers、MSCOCO）全体でロバスト性を評価する。

提案手法

• LSTMユニットを用いたパラフレーズ生成のためのエンコーダ–デコーダSeq2Seqフレームワークを採用する。
• LSTM層間にスタック型残差接続を導入し、劣化せずにより深いネットワークを可能にする。
• 入力が一層から次の層へ流れる垂直スタッキングを用い、n層ごとに残差接続を追加する（n=2）。
• SGD、ドロップアウト、パープレキシティ損失で学習し、推論時にはビーム探索（ビームサイズ5と10）で評価する。
• BLEU、METEOR、TER、および埋め込みベースの類似度指標（Emb Greedy）で評価する。

実験結果

リサーチクエスチョン

• RQ1 残差接続はパラフレーズ生成のためのより深いスタック型LSTMの効果的な訓練を可能にするか。
• RQ2 スタック型残差LSTMは大規模なパラフレーズデータセットで従来のSeq2Seq、アテンションベース、双方向LSTMのベースラインを上回るか。
• RQ3 提案モデルは、短いフレーズと長いキャプションなど、異なるパラフレーズ特性を持つ様々なデータセットでどのように性能を発揮するか。
• RQ4 スタック型残差LSTMモデルにおけるビームサイズがパラフレーズ品質に与える影響は何か。
• RQ5 パープレキシティはニューラルパラフレーズ生成器の学習に適切な損失か、埋め込みベースの類似度は従来指標とどのように相関するか。

主な発見

• スタック型残差LSTMモデルは、すべてのデータセットでBLEUとTERにおいてベースラインモデルを一貫して上回る。
• 多くのデータセットでEmb Greedyスコアが優れているが、ビームサイズが大きい場合には例外がある。
• METEORの利得はデータセット依存で、MSCOCOとWikiAnswersでは残差LSTMが優位だが、PPDBでは必ずしもそうではない。
• 深さを増加させる（4層の残差LSTM）は、浅い構成より良い性能を示す。
• パープレキシティはモデル性能と一致するが、現在の指標はパラフレーズ品質の意味論的・新規性の側面を見落とすことがある。
• この手法は多様なデータソース（PPDB、WikiAnswers、MSCOCO）でうまく機能し、MSCOCOの訓練時に画像を必要としない。