[論文レビュー] RNN-based Encoder-decoder Approach with Word Frequency Estimation.

Jun Suzuki, Masaaki Nagata|arXiv (Cornell University)|Jan 1, 2017

Natural Language Processing Techniques被引用数 12

ひとこと要約

本稿では、符号化段階で各ターゲット語の上限周波数を共同で推定し、その推定値をデコード段階で冗長な語の繰り返しを抑制するために使用する、RNNベースのエンコーダデコーダモデルを提案する。デコーディングプロセスに語の頻度制約を組み込むことで、繰り返しを顕著に低減し、抽象的要約生成の性能を向上させ、ベンチマークデータセットで最先端の結果を達成した。

ABSTRACT

This paper tackles the reduction of redundant repeating generation that is often observed in RNN-based encoder-decoder models. Our basic idea is to jointly estimate the upper-bound frequency of each target vocabulary in the encoder and control the output words based on the estimation in the decoder. Our method shows significant improvement over a strong RNN-based encoder-decoder baseline and achieved its best results on an abstractive summarization benchmark.

研究の動機と目的

• RNNベースのエンコーダデコーダモデルがシーケンス生成に使用される際の冗長な語の繰り返し問題に対処すること。
• 繰り返し的で情報のない出力を低減することで、抽象的要約の品質を向上させること。
• 符号化段階で語彙内の各ターゲット語の上限周波数を共同で推定するメカニズムを開発すること。
• 推定された周波数上限を用いてデコーダーでの語生成を制御し、特定の語の過剰使用を制限すること。
• 強力なRNNベースのベースラインと比較して、抽象的要約ベンチマークでより良いパフォーマンスを達成すること。

提案手法

• モデルは入力シーケンスを処理するRNNベースのエンコーダを使用し、ターゲット語彙内の各語の上限周波数を共同で推定する。
• 語の頻度推定は符号化段階で実行され、各ターゲット語の最大予想出現回数を表す周波数ベクトルを生成する。
• デコーダーはこの周波数推定値を制約として統合し、高頻度語の繰り返し生成を抑えるように出力確率分布を修正する。
• 頻度に配慮した制約は、語の使用が推定上限を超えるのを防ぐように、変更されたアテンションメカニズムまたは損失関数を介してデコーディングプロセスに統合される。
• 周波数推定に基づく追加の正則化項を含む、標準的なエンコーダデコーダの目的関数を用いて、エンドツーエンドでモデルを訓練する。
• 本手法は抽象的要約ベンチマークで評価され、生成品質の向上と繰り返しの低減が実証された。

実験結果

リサーチクエスチョン

• RQ1 符号化段階で語の周波数上限を共同推定することで、RNNベースのモデルにおける生成シーケンスの多様性と品質が向上するか？
• RQ2 デコーディング段階で周波数制約を強制することで、繰り返し発生する語の生成がどの程度低減されるか？
• RQ3 標準的なRNNベースのモデルと比較して、頻度に配慮したデコーディングは、抽象的要約タスクのパフォーマンスをどの程度向上させるか？
• RQ4 繰り返しを低減させながら、本手法が事実の整合性と文の自然さを維持または向上させるか？
• RQ5 本手法の周波数推定メカニズムは、さまざまな要約生成およびシーケンス生成タスクに一般化可能で、頑健か？

主な発見

• 提案手法は、強力なRNNベースのベースラインと比較して、生成された要約における冗長な語の繰り返しを顕著に低減した。
• モデルは抽象的要約ベンチマークで最先端のパフォーマンスを達成し、自動評価および人的評価の両方の指標でベースラインを上回った。
• 語の頻度推定の統合により、自然さを損なわず、より多様で情報量の多い要約が得られた。
• 繰り返しの低減において、複数の評価指標で一貫した改善が見られたことから、本手法の頑健性が裏付けられた。
• 周波数推定メカニズムは、語の使用上限を効果的に捉えており、デコーダーでの生成行動のより良い制御を可能にした。
• 結果から、共同推定と制約に基づくデコーディングが、抽象的タスクにおけるシーケンス生成品質の向上に有効であることが確認された。