[論文レビュー] Source-side Prediction for Neural Headline Generation

Shun Kiyono, Sho Takase+4 more|arXiv (Cornell University)|Dec 22, 2017

Natural Language Processing Techniques参考文献 18被引用数 12

ひとこと要約

本稿では、アライメントデータを必要とせずにトークン単位の対応関係を学習するため、ソース語彙分布とターゲット語彙分布を同時にモデル化するソース側予測モジュール（SPM）を提案する。SPMは、重複・欠落・不適切なフレーズを低減することで、要約生成ベンチマークにおいて最先端のモデルを上回る性能を発揮する。

ABSTRACT

The encoder-decoder model is widely used in natural language generation tasks. However, the model sometimes suffers from repeated redundant generation, misses important phrases, and includes irrelevant entities. Toward solving these problems we propose a novel source-side token prediction module. Our method jointly estimates the probability distributions over source and target vocabularies to capture a correspondence between source and target tokens. The experiments show that the proposed model outperforms the current state-of-the-art method in the headline generation task. Additionally, we show that our method has an ability to learn a reasonable token-wise correspondence without knowing any true alignments.

研究の動機と目的

• 抽象的要約における奇抜な生成（重複・欠落・不適切なフレーズを含む）の問題に対処すること。
• ソースとターゲットのシーケンス間のトークン単位の対応関係をモデル化することで、神経的要約生成を改善すること。
• ゴールスタンダードのアライメントアノテーションを必要とせずに、ソースとターゲットトークン間の意味のあるアライメントを学習すること。
• エンコーダ・デコーダフレームワークに、ソース語彙とターゲット語彙の同時確率推定を組み込むことで強化すること。
• ハロシネーションや繰り返しを低減しつつ、既存の最先端モデルを上回る要約生成性能を達成すること。

提案手法

• SPMはデコーダ出力層に追加され、各デコーディングステップでソース語彙上の確率分布を予測する。
• トークン間の対応関係をモデル化するため、ソース語彙とターゲット語彙の両方の確率分布を同時に推定する。
• モジュールは、予測されたソーストークン確率の合計と実際のソーストークンカウントを比較する損失関数 ℓ_src を最小化する。
• SPMにより、アノテーションのない状態でも、どのソーストークンが関連性があり、どのトークンを無視すべきかをモデルが学習できる。
• 標準的なEncDecモデルにアテンションを組み合わせ、EncDec+SPMとしてエンドツーエンドに訓練する。
• モデルは、重要なソーストークンに対して高い確率を割り当て、不要または冗長なトークンに対しては低い確率を割り当てるように学習する。

実験結果

リサーチクエスチョン

• RQ1 ソース側予測モジュールは、要約生成における重複・欠落・不適切なフレーズを低減できるか？
• RQ2 ゴールスタンダードのアライメントデータがなくても、モデルはソースとターゲットシーケンス間の意味のあるトークン単位のアライメントを学習できるか？
• RQ3 提案手法は、最先端モデルと比較して自動評価および人的評価指標を向上させるか？
• RQ4 SPMは、アテンションメカニズムと比較して、ソース・ターゲット対応関係をどれほど効果的に捉えられるか？
• RQ5 SPMは、sGate や周波数推定などの他のモジュールと効果的に組み合わせられるか？

主な発見

• 提案された EncDec+SPM モデルは、Gigaword 要約生成データセットにおいて、現在の最先端手法を上回る性能を発揮した。
• SPMは、繰り返しフレーズ、重要なコンテンツの欠落、不適切なトークンといった奇抜な生成現象を顕著に低減した。
• 可視化結果から、標準的なアテンションメカニズムと比較して、SPMはより明確で正確なトークン単位の対応関係を学習していることが示された。
• SPMは、'straight' や 'tuesday' のような不要なソーストークンを <pad> トークンに割り当てることで、効果的に抑制できた。
• 真のアライメントからの教師信号なしに、モデルは意味のあるアライメントを学習でき、ゼロショットアライメント能力を示した。
• sGate などの他のモジュールと組み合わせても性能向上が見られたことから、SPMは相互運用性と汎用性を有していることが示された。