[論文レビュー] Sentence Simplification with Deep Reinforcement Learning

Xingxing Zhang, Mirella Lapata|arXiv (Cornell University)|Mar 31, 2017

Text Readability and Simplification参考文献 28被引用数 11

ひとこと要約

この論文では、簡潔さ、流暢さ、意味の正確性を同時に最適化する深層強化学習フレームワークDressを提案する。複雑さを罰する報酬関数と文法的整合性および意味の保持を奨励する報酬関数を用いてエンコーダ・デコーダモデルを訓練することで、3つのデータセットにおいて強力なベースラインを上回り、人間評価およびSARIやFKGLといった自動指標において最先端の結果を達成した。

ABSTRACT

Sentence simplification aims to make sentences easier to read and understand. Most recent approaches draw on insights from machine translation to learn simplification rewrites from monolingual corpora of complex and simple sentences. We address the simplification problem with an encoder-decoder model coupled with a deep reinforcement learning framework. Our model, which we call {\sc Dress} (as shorthand for {\bf D}eep {\bf RE}inforcement {\bf S}entence {\bf S}implification), explores the space of possible simplifications while learning to optimize a reward function that encourages outputs which are simple, fluent, and preserve the meaning of the input. Experiments on three datasets demonstrate that our model outperforms competitive simplification systems.

研究の動機と目的

• 文法的整合性や語彙の置換のみを最適化する既存の文簡略化モデルの限界を解消するため、簡潔さ、文法的整合性、意味の正確性を統合的にモデル化すること。
• 強化学習を活用して、可能な簡略化の空間を探索し、報酬信号から学習するニューラルシーケンス・ツー・シーケンスモデルの開発。
• 希少語彙を一般的な対義語に置き換える語彙的簡略化モジュールを統合することで、簡略化の性能を向上させること。
• Wikipediaベースおよびニュースベースのコーパスを含む多様なデータセット上でモデルを評価し、堅牢性と一般化性能を示すこと。
• 強化学習が、簡潔さ、明確さ、意味の正確性のバランスを取った高品質な簡略化を生成するために不可欠であることを示すこと。

提案手法

• 複雑な文をエンコードし、簡略化された出力をデコードするため、双方向LSTMを用いたアテンションベースのエンコーダ・デコーダアーキテクチャを採用する。
• 報酬関数が簡潔さ、流暢さ、意味の適切さのバランスを取るように設計された、深層強化学習フレームワークを採用する。報酬関数は、ポリシーネットワーク（デコーダ）が報酬を最大化するように訓練される。
• 報酬関数は複数のコンポonentを組み合わせており、文法的整合性を評価するBLEUベースのスコア、意味の保持度を評価するSARIスコア、複雑な語彙を罰するFKGLベースの簡潔さスコアを含む。
• 報酬の期待累積値に基づいてモデルパラメータを最適化するため、ポリシー勾配法（REINFORCE）を用いる。
• 希少語をWordNetからのより一般的な対義語に置き換える語彙的簡略化モジュールを統合し、語彙的簡潔さを向上させる。
• 自動評価と人間評価を併用して、Newsela、WikiSmall、Wikilargeの3つのデータセットで微調整を行う。

実験結果

リサーチクエスチョン

• RQ1 強化学習フレームワークは、簡潔さ、流暢さ、意味の正確性という対立する複数の目的を効果的に最適化できるか？
• RQ2 複数の自動指標に基づく報酬関数を用いたエンドツーエンドの訓練は、教師ありまたはルールベースのベースラインと比較してどのように異なるか？
• RQ3 語彙的簡略化モジュールの統合が、全体の簡略化品質にどの程度寄与するか？
• RQ4 ニュース記事やWikipediaコンテンツなど、異なるドメイン間でもモデルは一般化できるか？
• RQ5 最先端の性能を達成するために強化学習は不可欠であるか、それとも教師ありモデルが同等の結果を達成できるか？

主な発見

• Newselaデータセットでは、Dress-Lsは簡潔さ（4.02）と全般的評価（3.85）で最高の人間評価スコアを記録し、PBMT-R、Hybrid、およびReferenceを顕著に上回った。
• WikiSmallデータセットでは、Dress-Lsは簡潔さ（4.00）と全般的評価（3.80）でPBMT-R、Hybrid、およびReferenceを顕著に上回り、流暢さはPBMT-Rと同等の水準であった。
• Wikilargeデータセットでは、Dress-Lsは最高の簡潔さスコア（4.00）を達成し、全般的評価（3.85）でもすべてのベースラインを顕著に上回ったが、意味の正確さはReferenceより低かった。
• DressおよびDress-Lsは、人間評価においてEncDecAおよびPBMT-Rを顕著に上回り、強化学習の有効性を示した。
• Dress-LsはFKGL（簡略化指標）で優れた性能を示し、Newselaでは12.73、Wikilargeでは13.11を記録し、高い語彙的簡潔さを示した。
• DressおよびDress-LsのTERスコア（0.46および0.44）は、PBMT-R（0.13）を上回っており、削除や置換を含むより広範な再書き換えが行われており、これがより優れた簡略化に寄与した。