[論文レビュー] A Character-Level Length-Control Algorithm for Non-Autoregressive Sentence Summarization

Puyuan Liu, Xiang Zhang+1 more|arXiv (Cornell University)|May 28, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、接続主義的時系列分類（CTC）に基づく動的計画法を用いて、明示的な文字単位の長さ制御を実現する非自己回帰的要約モデルNACCを提案する。GigawordおよびDUC2004で最先端のROUGEスコアを達成するとともに、自己回帰的モデルよりも著しく高速であり、無教師設定でもそれらを上回る性能を示し、切り捨てを伴わずに長さ制約付きの完全な要約を生成可能である。

ABSTRACT

Sentence summarization aims at compressing a long sentence into a short one that keeps the main gist, and has extensive real-world applications such as headline generation. In previous work, researchers have developed various approaches to improve the ROUGE score, which is the main evaluation metric for summarization, whereas controlling the summary length has not drawn much attention. In our work, we address a new problem of explicit character-level length control for summarization, and propose a dynamic programming algorithm based on the Connectionist Temporal Classification (CTC) model. Results show that our approach not only achieves higher ROUGE scores but also yields more complete sentences.

研究の動機と目的

• モバイル用見出しやLEDディスプレイなど、実世界の応用においてより現実的である文字単位の長さ制御が非自己回帰的要約で不足している問題に対処すること。
• 生成された要約が完全であり、文字予算内に収まるように保証する手法を設計することにより、切り捨てや不完全な出力を回避すること。
• 要約研究と評価の間のギャップを埋めること。特に、DUC2004における75バイトのような文字単位の制約は一般的であるが、十分に取り扱われていない。
• 同じ入力からさまざまな長さの要約を生成可能な長さ転送生成を可能にすること。
• 厳密な文字単位の制約下でもROUGEスコアを向上させつつ、高い推論効率を維持すること。

提案手法

• トークンの重みを文字数、価値を非自己回帰モデルからの予測確率とする、ナップサック問題に類似した文字単位の長さ制御の定式化を行う。
• 動的計画法を用いて、事前に定義された文字予算内に収まりつつ、合計確率を最大化するトークン列を選択する。
• 非自己回帰的生成におけるトークンの繰り返しを軽減するため、CTC損失を統合する。これにより、文の流れや一貫性が向上する。
• 予測後に長さ制御アルゴリズムを適用することで、再訓練やアテンションメカニズムの変更なしに明示的な制御を実現する。
• 無教師設定での学習に向け、疑似参照文を生成するための無教師語抽出手法を適用する。
• 非自己回帰的モデルの並列生成機能を活用し、動的計画法のステップが加わっても高い推論速度を維持する。

実験結果

リサーチクエスチョン

• RQ1 文字単位の長さ制御が、語単位の制御や切り捨てと比較して、要約の品質と完全性を向上させることができるか？
• RQ2 CTCとトークン確率に基づく動的計画法が、非自己回帰的要約における正確で効率的な長さ制御を可能にするか？
• RQ3 訓練データが限られ、入力と出力の整合性が強い無教師設定において、NACCは自己回帰的モデルを上回ることができるか？
• RQ4 NACCはどの程度長さ転送生成を実現できるか？同じ入力からさまざまな長さの要約を生成できるか？
• RQ5 文字単位の長さ制御は、教師ありおよび無教師設定の両方でROUGEスコアと要約の完全性にどのように影響を与えるか？

主な発見

• NACCは、GigawordおよびDUC2004の両データセットにおいて、さまざまな文字単位の長さ制約下で非自己回帰的モデルの中で最先端の性能を達成した。
• 無教師設定では、自己回帰的Transformerを上回り、優れた一般化性能と入力コンテンツとの整合性を示した。
• 定性的な例では、NACCが文字予算を超えないように重要な情報を保持しており、切り捨て出力よりも完全な要約を生成していることが示された。
• 動的計画法による長さ制御ステップが加わっても、自己回帰的モデルの数倍の高速な推論効率を維持した。
• 長さ転送生成は成功裏に実現された：NACCはさまざまな文字予算に対して高品質な要約を生成でき、ROUGEスコアは予算が小さくなるに従い線形に低下した。これに対して、競合手法はより急激に性能が低下した。
• 動的計画法は、長さ制約と要約品質のバランスを効果的にとらせており、ベースライン手法と比較して高いROUGEスコアとより一貫性があり完全な出力を得られた。