[論文レビュー] Improved Natural Language Generation via Loss Truncation

Daniel Kang, Tatsunori Hashimoto|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 49被引用数 8

ひとこと要約

この論文は、自然言語生成を改善するため、訓練中に高ロス例を適応的に除外することで、識別可能性を最適化するロバストな訓練手法「ロス截断」を提案している。要約タスクにおいて、標準的なロス損失ベースラインと比較して識別可能性と事実的正確性の両面で優れている。

ABSTRACT

Neural language models are usually trained to match the distributional properties of a large-scale corpus by minimizing the log loss. While straightforward to optimize, this approach forces the model to reproduce all variations in the dataset, including noisy and invalid references (e.g., misannotation and hallucinated facts). Worse, the commonly used log loss is overly sensitive to such phenomena and even a small fraction of noisy data can degrade performance. In this work, we show that the distinguishability of the models and reference serves as a principled and robust alternative for handling invalid references. To optimize distinguishability, we propose loss truncation, which adaptively removes high loss examples during training. We show this is as easy to optimize as log loss and tightly bounds distinguishability under noise. Empirically, we demonstrate that loss truncation outperforms existing baselines on distinguishability on a summarization task, and show that samples generated by the loss truncation model have factual accuracy ratings that exceed those of baselines and match human references.

研究の動機と目的

• 訓練データにノイズが含まれたり、無効なリファレンスが存在する状況において、ニューラル言語モデルの標準的なロス損失訓練の脆さを解消すること。
• ロス損失の代替手段として、スケーラブルで効率的な手法を開発し、モデルのロバスト性と生成品質を向上させること。
• モデル生成出力と人間のリファレンステキストの間の識別可能性を最適化し、より高品質な出力を保証すること。
• ロス截断が、タスク固有の損失修正に依存せずに、要約生成における事実的一致性を向上させることを実証すること。

提案手法

• ロス截断は、標準的なロス損失を変更し、訓練中に高ロス例を適応的に除外することで、ノイズや無効なリファレンスを効果的にフィルタリングする。
• この手法は、ミニバッチ内のロス値の分布に基づいて動的に調整される截断しきい値を使用する。
• 識別可能性に対する上界を提供し、モデル出力が人間のリファレンスと次第に区別できなくなるように保証する。
• 出力品質をさらに向上させるために、シーケンスレベルの拒否サンプリングスキームを導入し、高確率のシーケンスに制限して生成を実行する。
• 標準的なデコード戦略（例：ビームサーチ、top-k、top-p）と互換性があり、既存のデコーダーと組み合わせて使用可能である。
• 計算効率が高くスケーラブルであるため、大規模言語モデルに適している。

実験結果

リサーチクエスチョン

• RQ1 修正された訓練目的は、訓練データにノイズや無効なリファレンスが存在する場合に、ニューラル言語モデルのロバスト性を向上させることができるか？
• RQ2 ロス損失ではなく識別可能性を最適化することで、より高品質で忠実なテキスト生成が実現できるか？
• RQ3 ロス損失に対するシンプルでスケーラブルな修正が、原理的識別可能性最適化と同等の性能を達成できるか？
• RQ4 ロス截断は、標準的なロス損失ベースラインと比較して、抽象的要約生成における事実的正確性を向上させることができるか？

主な発見

• HUSEスコア（識別可能性の指標）において、ロス截断は、ビームサーチ、top-k、top-p、および完全サンプリングを含む、すべての標準的ロス損失ベースラインを顕著に上回っている。
• ロス截断で訓練されたモデルは、要約生成における事実的正確性がすべてのベースラインを上回り、人間のリファレンスの品質に達している。
• ロス截断と併用した拒否サンプリングにより、出力品質がさらに向上し、事実的一致性においてビームサーチでさえも上回っている。
• この手法はノイズの多いリファレンスに対してロバストであり、幻覚的または誤標記された訓練例の影響を低減する。
• GANベースの識別可能性最適化は、テキスト生成では訓練が困難であるため、ロス截断はその代替手段として実用的でスケーラブルである。