[論文レビュー] Dictionary-Guided Editing Networks for Paraphrase Generation

Shaohan Huang, Yu Wu+2 more|arXiv (Cornell University)|Jun 21, 2018

Topic Modeling参考文献 2被引用数 8

ひとこと要約

本稿では、事前に構築された並び替え語彙集（PPDB）を用い、シーケンス・トゥ・シーケンスフレームワーク内でのソフト注目メカニズムによって、元の文の語や句を選択的に置き換えることで並び替え文を生成する、辞書ガイド付き編集ネットワークを提案する。このモデルは、MSCOCOおよびQuoraデータセットにおいて、既存のシーケンス・トゥ・シーケンスベースラインを上回り、BLEUおよびMETEORスコアで最先端の結果を達成した。

ABSTRACT

An intuitive way for a human to write paraphrase sentences is to replace words or phrases in the original sentence with their corresponding synonyms and make necessary changes to ensure the new sentences are fluent and grammatically correct. We propose a novel approach to modeling the process with dictionary-guided editing networks which effectively conduct rewriting on the source sentence to generate paraphrase sentences. It jointly learns the selection of the appropriate word level and phrase level paraphrase pairs in the context of the original sentence from an off-the-shelf dictionary as well as the generation of fluent natural language sentences. Specifically, the system retrieves a set of word level and phrase level araphrased pairs derived from the Paraphrase Database (PPDB) for the original sentence, which is used to guide the decision of which the words might be deleted or inserted with the soft attention mechanism under the sequence-to-sequence framework. We conduct experiments on two benchmark datasets for paraphrase generation, namely the MSCOCO and Quora dataset. The evaluation results demonstrate that our dictionary-guided editing networks outperforms the baseline methods.

研究の動機と目的

• 元の文を同義語や句の置き換えによって再編集することで、人間の編集行動を模倣するニューラル並び替え文生成モデルを開発すること。
• 市販の語彙集（PPDB）から文脈的に適切な語と句の並び替えペアの選択と、滑らかで文法的に正しい並び替え文の生成を同時に学習すること。
• 生成の際に明示的な編集信号を語彙リソースから取り入れることで、元から生成する既存のシーケンス・トゥ・シーケンスモデルを改善すること。
• 辞書ガイド付き編集が、より高い品質の並び替え文、特に滑らかさと意味の保存性の向上に寄与することを示すこと。

提案手法

• モデルは、各入力文に対して並び替え語彙集（PPDB）から語と句の並び替えペアを検索する。
• デコード中に、辞書内の関連する並び替えペアに動的に注目するソフト注目メカニズムを用い、語の削除や挿入の意思決定をガイドする。
• シーケンス・トゥ・シーケンスフレームワークに、デコーダー出力を辞書内の特定の並び替えペアに一致させる編集注目メカニズムを強化する。
• 微分可能な注目メカニズムを用いて、並び替えペアの選択と滑らかな文の生成の両方を同時に最適化する。
• 注目メカニズムは、削除と挿入の操作それぞれに対して別々のスコアを計算し、各辞書ペアの影響をバランスさせるために列方向の正規化を用いる。
• シーケンス生成のための交差エントロピー損失を用いて、MSCOCOおよびQuoraデータセット上でエンド・ツー・エンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前に構築された並び替え語彙集を用いて、元の文を編集することで並び替え文を効果的に学習するニューラルモデルは可能か？
• RQ2 デコード中に、文脈的に適切な語や句の置き換えを選択するための辞書ガイド付き注目メカニズムは、どの程度の精度で機能するか？
• RQ3 語彙リソースからの明示的な編集信号を組み込むことで、エンド・ツー・エンド生成と比較して、生成された並び替え文の滑らかさと意味的正確性が向上するか？
• RQ4 ベンチマーク並び替え文生成データセットにおいて、標準のシーケンス・トゥ・シーケンスベースラインと比較して、このモデルはどの程度優れているか？

主な発見

• MSCOCOデータセットでは、提案手法がBLEUスコア42.6、METEORスコア31.3を達成し、VAE-SVG-eqおよびResidual LSTMを含むすべてのベースライン手法を上回った。
• Quoraデータセットでは、ビームサイズ10でBLEUスコア28.4、METEORスコア30.6を達成し、次のベストベースラインであるVAE-SVG-eq（ビームサイズ10）の37.1 BLEUおよび32.0 METEORを大きく上回った。
• 注目メカニズムの可視化により、モデルが生成された語が関連する並び替えペアに適切に一致していることが確認された。例えば、'television'が辞書ペア（a tv, a television）に一致している。
• モデルは、特定の語や句の置き換え（例：'make money' を 'earn money' に）により、文法的に正しいまま意味的に同等の並び替え文を効果的に生成できた。
• アブレーションスタディの結果、辞書ガイド付き注目メカニズムの統合により、標準のシーケンス・トゥ・シーケンスモデルと比較して並び替え文の品質が顕著に向上した。