[論文レビュー] Positional Encoding to Control Output Sequence Length

Sho Takase, Naoaki Okazaki|arXiv (Cornell University)|Apr 16, 2019

Topic Modeling参考文献 17被引用数 9

ひとこと要約

本稿では、出力系列長を制御するために、Transformerの正弦波的位置埋め込みを拡張する長さ依存型位置埋め込み（LDPEおよびLRPE）を提案する。この手法により、目標長からの距離を符号化することで、学習時に見られない長さに対しても正確な長さ制御とROUGEスコアの向上が達成され、要約生成タスクにおいて先行手法を上回る性能を発揮する。

ABSTRACT

Neural encoder-decoder models have been successful in natural language generation tasks. However, real applications of abstractive summarization must consider additional constraint that a generated summary should not exceed a desired length. In this paper, we propose a simple but effective extension of a sinusoidal positional encoding (Vaswani et al., 2017) to enable neural encoder-decoder model to preserves the length constraint. Unlike in previous studies where that learn embeddings representing each length, the proposed method can generate a text of any length even if the target length is not present in training data. The experimental results show that the proposed method can not only control the generation length but also improve the ROUGE scores.

研究の動機と目的

• 抽象的要約のためのニューラルエンコーダ・デコーダモデルにおける長さ制御の欠如に取り組む。
• 学習データに存在しない長さを含む、任意の目標長の要約生成を可能にする。
• 要約生成における長さの正確さと要約品質（ROUGEスコア）の両方を向上させる。
• 残り長または長さ比を符号化する連続的かつ微分可能な方法で、正弦波的位置埋め込みを拡張する。

提案手法

• Transformerの正弦波的位置埋め込みを拡張し、目標長を学習可能な入力として追加することで、長さ差（LDPE）および長さ比（LRPE）埋め込みを構築する。
• LDPEは現在の位置と目標長との差を符号化し、同じ残り長に対して同一の値を保証する。
• LRPEは現在の位置と目標長の比を符号化し、類似した相対的進行度を持つ異なる長さ間での一般化を可能にする。
• 修正された位置埋め込みは、デコーダ入力層におけるトークン埋め込みに加算され、推論時には標準的な位置埋め込みに置き換えられる。
• 学習時では、参照要約の真の長さが目標長として使用されるが、推論時では希望する長さが指定される。
• 本手法は連続的な長さ表現を用いるため、再訓練なしに未学習の長さに対しても一般化が可能である。

実験結果

リサーチクエスチョン

• RQ1 長さ固有の埋め込みを必要とせずに、位置埋め込みを拡張してTransformerにおける出力系列長を制御できるか？
• RQ2 学習データにめったに現れない長さであっても、高品質な要約を生成できるか？
• RQ3 終端位置までの距離を符号化することで、ベースライン手法と比較して長さの正確さとROUGEスコアが向上するか？
• RQ4 LenEmb、LenInit、LCといった先行手法と比較して、本手法は長さ制御および生成品質の両面で優れているか？

主な発見

• LDPEは日本語テストセットにおいて、目標長30および50の設定で、分散が0.00という最も正確な長さ制御を達成した。
• 本手法は、目標長を含まないデータで学習した場合でも高いROUGEスコアを維持しており、未学習の長さへの一般化が示された。
• DUC-2004英語テストセットでは、LDPEおよびLRPEはベーシックなTransformerおよび先行ベースラインを著しく上回り、LRPE+PE+再ランク付けは最先端の結果を達成した。
• 非常に短い要約（長さ=30）の場合、本手法はROUGE-2スコアがベーシックなTransformerよりわずかに低下したが、これはベースラインが短い要約を生成する能力に起因するものであり、本手法の失敗ではない。
• 日本語における長さ10の設定では、生成長と目標長との平均絶対差がわずか0.1にとどまり、非常に高い正確さを示した。
• ソース語の重複度に基づく再ランク付けにより要約品質が向上し、Transformer+LRPE+PE+再ランク付けがDUC-2004で最高のROUGEスコアを達成した。