[論文レビュー] Controlling Output Length in Neural Encoder-Decoders

Yuta Kikuchi, Graham Neubig+3 more|arXiv (Cornell University)|Sep 30, 2016

Topic Modeling参考文献 38被引用数 43

ひとこと要約

この論文は、文書要約を目的としたニューラルエンコーダーデコーダーモデルにおける出力シーケンス長の制御のため、2つのデコーディングベースと2つの学習ベースの手法を提案する。学習ベースの手法（$\mathit{LenEmb}$ および $\mathit{LenInit}$）は、ROUGEスコアの低下を伴わずに望みのターゲット長に正確に出力長を制約でき、長めの要約においてデコーディングベースの手法を上回り、標準ベンチマークでも競争力のある性能を維持する。

ABSTRACT

Neural encoder-decoder models have shown great success in many sequence generation tasks. However, previous work has not investigated situations in which we would like to control the length of encoder-decoder outputs. This capability is crucial for applications such as text summarization, in which we have to generate concise summaries with a desired length. In this paper, we propose methods for controlling the output sequence length for neural encoder-decoder models: two decoding-based methods and two learning-based methods. Results show that our learning-based methods have the capability to control length without degrading summary quality in a summarization task.

研究の動機と目的

• シーケンス生成タスクにおけるニューラルエンコーダーデコーダーモデルの明示的な長さ制御の欠如に対処すること。
• ドキュメント要約やヘッドライン生成などの応用において、望みの長さの出力を生成できる要約システムを実現すること。
• 長さ制御が、特にROUGEスコアの観点から要約品質を低下させないかを評価すること。
• 有効性と頑健性の観点から、デコーディングベースと学習ベースのアプローチを長さ制御において比較すること。
• 提案手法が、標準的なDUC2004ベンチマークで競争力のある性能を維持しながら、出力長の制御が可能であることを示すこと。

提案手法

• 2つのデコーディングベースの手法（$\mathit{fixLen}$ および $\mathit{fixRng}$）は、推論時にビームサーチを変更し、候補シーケンスの長さをターゲット範囲に制約する。
• 2つの学習ベースの手法（$\mathit{LenEmb}$ および $\mathit{LenInit}$）は、モデルアーキテクチャを変更し、デコーダーを望みの出力長を表す学習済み埋め込みまたは初期化ベクトルに条件づける。
• $\mathit{LenEmb}$ は、各デコーディングステップでデコーダーの隠れ状態に、ターゲット長の学習済み埋め込みを組み込む。
• $\mathit{LenInit}$ は、デコーダーの隠れ状態を、望みの長さを符号化した学習済みベクトルで初期化する。
• すべてのモデルは、標準的なシーケンストゥシーケンスの目的関数と交差エントロピー損失を用いて訓練されるが、学習ベースのモデルは出力シーケンスとその長さの両方を同時に予測するように共同最適化される。
• 長さ制御は長さ制約付きビームサーチで評価され、性能はROUGE-1、ROUGE-2、ROUGE-L指標で測定される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルエンコーダーデコーダーモデルは、指定された長さの出力を効果的に生成できるように適切に変更可能か？
• RQ2 長さ制御の観点で、学習ベースの手法はデコーディングベースの代替手法を長さの正確性と要約品質の両面で上回るか？
• RQ3 DUC2004のような標準的な要約ベンチマークでの性能に、長さ制御の組み込みが悪影響を及ぼすか？
• RQ4 提案手法は、長めの要約（例：50〜75バイト）と短めの要約において、どのように比較されるか？
• RQ5 正確な長さ制御を達成しながら、高いROUGEスコアを維持できるか？

主な発見

• 学習ベースの手法 $\mathit{LenEmb}$ および $\mathit{LenInit}$ は、生成されたシーケンスのヒストグラムから、出力長が望みのターゲットに集中していることが示された。
• $\mathit{LenEmb}$ はDUC2004ベンチマークでROUGE-Lスコア23.88を達成し、標準ベースライン（$\mathit{fixLen}$）を上回り、最先端のモデルと同等の性能を示した。
• $\mathit{LenInit}$ はROUGE-Lスコア23.25を達成し、標準モデルや既存の手法と同等の性能を維持しながら、強力な長さ制御を実現した。
• 長めの要約（例：50〜75バイト）において、学習ベースの手法はデコーディングベースの手法に比べ、長さの正確性と一貫性の面で顕著に優れていた。
• $\mathit{LenInit}$ のビームサーチ結果から、すべての上位候補が望みの長さ（30バイト）に近く、効果的な長さ制御が確認された。
• 長さ制御の追加的複雑性にもかかわらず、提案手法は競争力のあるROUGEスコアを維持しており、要約品質の低下がないことが示された。