[論文レビュー] Regularizing Output Distribution of Abstractive Chinese Social Media Text Summarization for Improved Semantic Consistency

Bingzhen Wei, Xuancheng Ren+4 more|arXiv (Cornell University)|May 10, 2018

Topic Modeling参考文献 21被引用数 5

ひとこと要約

本稿では、ノイズが多く不整合なデータセットに起因する誤った語の対応に依存するのを減らすために、訓練中に出力語分布をなめらかにすることで意味的整合性を向上させる正則化手法を提案する。この手法により、人的評価で意味的整合性が4%向上し、既存のモデルを上回る性能を発揮する。

ABSTRACT

Abstractive text summarization is a highly difficult problem, and the sequence-to-sequence model has shown success in improving the performance on the task. However, the generated summaries are often inconsistent with the source content in semantics. In such cases, when generating summaries, the model selects semantically unrelated words with respect to the source content as the most probable output. The problem can be attributed to heuristically constructed training data, where summaries can be unrelated to the source content, thus containing semantically unrelated words and spurious word correspondence. In this paper, we propose a regularization approach for the sequence-to-sequence model and make use of what the model has learned to regularize the learning objective to alleviate the effect of the problem. In addition, we propose a practical human evaluation method to address the problem that the existing automatic evaluation method does not evaluate the semantic consistency with the source content properly. Experimental results demonstrate the effectiveness of the proposed approach, which outperforms almost all the existing models. Especially, the proposed approach improves the semantic consistency by 4\% in terms of human evaluation.

研究の動機と目的

• 訓練データにソースコンテンツと関係のない要約が含まれる中国語ソーシャルメディアテキストの抽象的要約における、意味的整合性の欠如という長年の問題に取り組む。
• ヒューリスティックなデータ収集により、モデルの一般化性能や意味的忠実性を損なう誤った語の対応関係が生じることを特定する。
• 訓練中に出力分布をなめらかにする正則化技術を提案し、意味的に関係のない語のペアの記憶を減らす。
• 自動評価指標の限界を克服するため、意味的整合性をより正確に評価できる実用的な人的評価フレームワークを開発する。
• LCSTSおよび類似データセットにおけるモデル性能を向上させ、生成要約の忠実性と一貫性を高める。

提案手法

• 各デコードステップでゴールの参照語に加えて、出力語分布を正則化するソフトトレーニングターゲットを導入する。
• ソフトマックス関数の温度を高くすることで、滑らかでなめらかな出力分布を生成し、誤った語選択に対する過信を軽減する。
• デコーダーの出力層を活用してなめらかな分布を生成することで、語選択の耐障害性を高め、誤ったアライメントへの依存を減らす。
• 交差エントロピー損失（ゴールの参照語とのもの）と、なめらかな分布とのKLダイバージェンスの両方を組み合わせた損失関数で、seq2seqモデルを訓練する。
• 出力生成の安定化と一貫性の向上を図るため、訓練時および推論時の両方で正則化を適用する。
• 意味的整合性をより正確に測定するため、流れの良さ、関連性、忠実性という3つの基準を用いた人的評価プロトコルを設計する。

実験結果

リサーチクエスチョン

• RQ1 訓練データに意味的に不整合な要約が含まれる場合、抽象的要約モデルの性能と一貫性にどのような影響を与えるか？
• RQ2 訓練中に出力分布をなめらかにすることで、モデルが誤った語の対応関係を記憶する傾向をどの程度軽減できるか？
• RQ3 流れの良さ、関連性、忠実性を組み合わせた人的評価フレームワークは、自動評価指標よりも意味的整合性をより信頼性高く評価できるか？
• RQ4 提案手法は、中国語ソーシャルメディアテキスト要約における人的評価による意味的整合性の向上を、実際に測定可能か？
• RQ5 自動評価指標および人的評価指標の両面で、既存の最先端モデルと比較して、本手法のモデル性能はどのように差がつくか？

主な発見

• 提案手法により、人的評価で意味的整合性が4%向上し、既存モデルと比較して顕著で測定可能な向上が確認された。
• LCSTSベンチマークでは、ほぼすべての既存の抽象的要約モデルを上回る性能を発揮し、本手法の有効性を裏付けた。
• 人的評価の結果、生成要約における幻覚や事実の不整合が顕著に減少した。
• 出力分布のなめらかさにより、語予測に対する過信が軽減され、より忠実で文脈に整合した要約が生成された。
• 自動評価指標が検出できない不整合を人的評価フレームワークが的確に特定できたことから、意味的忠実性の評価に信頼性があることが裏付けられた。
• 誤った語の対応関係の記憶を妨げることで、ノイズが多くヒューリスティックに構築された訓練データの影響を効果的に軽減できた。