[論文レビュー] Dynamic Multi-Level Multi-Task Learning for Sentence Simplification

Han Guo, Ramakanth Pasunuru+1 more|arXiv (Cornell University)|Jun 19, 2018

Text Readability and Simplification参考文献 53被引用数 8

ひとこと要約

本稿では、文の簡素化のための動的マルチレベルマルチタスク学習フレームワークを提案する。このフレームワークは、自然言語推論と並列文生成の補助タスクと連携して、ポ인터・コピーモデルを共同で学習する。階層的ソフト共有（上位層を帰納的推論用、下位層を並列文生成用に割り当て）と、動的タスクスケジューリングのためのマルチアームド・バンディットを用いることで、SARIおよびFKGL指標において最先端の性能を達成し、強力なベースラインと比較して人間評価でも顕著な向上を示した。

ABSTRACT

Sentence simplification aims to improve readability and understandability, based on several operations such as splitting, deletion, and paraphrasing. However, a valid simplified sentence should also be logically entailed by its input sentence. In this work, we first present a strong pointer-copy mechanism based sequence-to-sequence sentence simplification model, and then improve its entailment and paraphrasing capabilities via multi-task learning with related auxiliary tasks of entailment and paraphrase generation. Moreover, we propose a novel 'multi-level' layered soft sharing approach where each auxiliary task shares different (higher versus lower) level layers of the sentence simplification model, depending on the task's semantic versus lexico-syntactic nature. We also introduce a novel multi-armed bandit based training approach that dynamically learns how to effectively switch across tasks during multi-task learning. Experiments on multiple popular datasets demonstrate that our model outperforms competitive simplification systems in SARI and FKGL automatic metrics, and human evaluation. Further, we present several ablation analyses on alternative layer sharing methods, soft versus hard sharing, dynamic multi-armed bandit sampling approaches, and our model's learned entailment and paraphrasing skills.

研究の動機と目的

• 論理的帰納と並列文生成の知識をマルチタスク学習によって統合することで、文の簡素化モデルの性能を向上させること。
• 既存のモデルが入力文に対して論理的に帰納されない出力や語彙的多様性に欠ける出力を生成するという限界を是正すること。
• タスク固有の知識（意味的 vs. 語彙的・構文的）を適切なネットワーク層に一致させるマルチレベルソフト共有機構を設計すること。
• マルチアームド・バンディットを用いた動的訓練スケジューリングを構築し、モデルの状態とパフォーマンスフィードバックに応じて最適なタスク切り替え比を自動で学習することで、手動によるハイパーパramータチューニングを回避すること。

提案手法

• 文の簡素化の強力なベースラインとしてポインタ・コピーメカニズムを採用し、入力の単語やフレーズを直接コピー可能にする。
• 論理的整合性と語彙的多様性の向上を目的として、自然言語推論（帰納）と並列文生成という2つの補助タスクを導入する。
• マルチレベルのレイヤードソフト共有戦略を適用：簡素化と帰納タスク間で上位層を共有（意味的レベル）、簡素化と並列文生成タスク間で下位層を共有（語彙的・構文的レベル）。
• 訓練中に最適なタスク切り替え比を動的に学習するマルチアームド・バンディットコントローラーを用いる。
• 訓練時間に応じてタスク選択確率が変化するカリキュラム的で動的サンプリング戦略を用いて、エンド・トゥ・エンドでモデルを訓練する。
• 自動指標（SARI、FKGL）と人間評価を用いて、Newsela、WikiSmall、WikiLargeのデータセットでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 補助的帰納と並列文生成タスクを用いたマルチタスク学習により、文の簡素化出力の論理的整合性と語彙的多様性が向上するか？
• RQ2 異なるタスクペアが異なるネットワーク層を共有するマルチレベルソフト共有機構は、均一共有やハード共有と比較してより優れたパフォーマンスをもたらすか？
• RQ3 マルチアームド・バンディットを用いた動的タスクスケジューリングは、静的で手動チューニングされた混合比を上回る性能を示すか？
• RQ4 改善効果は、単にデータ拡張によるものではなく、補助タスク固有の能力に起因する程度はどの程度か？
• RQ5 モデルが学習した帰納および並列文生成スキルは、独立したモデルと比較してどの程度優れているか？

主な発見

• 提案されたマルチレベルマルチタスク学習モデルは、NewselaデータセットでSARIスコア33.22を達成し、強力なポインタ・コピーベースラインおよび競争力のある最先端システムを顕著に上回った。
• ベースラインと比較してFKGLスコアが0.55ポイント向上し、簡素化出力の読みやすさが向上したことを示した。
• 動的マルチアームド・バンディットコントローラーは、静的混合比およびランダムタスク選択と比較して統計的に有意な改善を示した（SARIおよびFKGLでp < 0.01）。
• アブレーションスタディの結果、タスク固有のレイヤー整合性（意味的 vs. 語彙的・構文的）を持つソフト共有は、ハード共有や直感的でないレイヤー共有よりも効果的であることが判明した。
• 人間評価では、ベースラインと比較して、モデルがより簡素で自然で、帰納的に整合性のある出力を生成することが確認され、簡素さと文のなめらかさの認識が高かった。
• モデルの性能向上は、単にデータ拡張によるものではなく、構造的パラメータ共有を伴う共同学習の価値が裏付けられており、補助タスクの埋め込みのみを用いたモデルはマルチタスクフレームワークに劣る結果となった。