[論文レビュー] mFACE: Multilingual Summarization with Factual Consistency Evaluation

Roee Aharoni, Shashi Narayan+4 more|arXiv (Cornell University)|Dec 20, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、多言語的自然言語推論（NLI）モデルを用いて事実整合性を向上させる、mFACEと呼ばれる多言語的要約抽出フレームワークを提案する。二つの手法——データフィルタリング（NLI予測が『含意』である例でのみ学習）と制御的生成（NLI信号を条件として用いる）——を適用し、幻覚を低減することで、XLSumデータセットにおける45言語で忠実性（faithfulness）の顕著な向上を達成した。自動評価および人間評価の両方で要約品質の向上が確認された。

ABSTRACT

Abstractive summarization has enjoyed renewed interest in recent years, thanks to pre-trained language models and the availability of large-scale datasets. Despite promising results, current models still suffer from generating factually inconsistent summaries, reducing their utility for real-world application. Several recent efforts attempt to address this by devising models that automatically detect factual inconsistencies in machine generated summaries. However, they focus exclusively on English, a language with abundant resources. In this work, we leverage factual consistency evaluation models to improve multilingual summarization. We explore two intuitive approaches to mitigate hallucinations based on the signal provided by a multilingual NLI model, namely data filtering and controlled generation. Experimental results in the 45 languages from the XLSum dataset show gains over strong baselines in both automatic and human evaluation.

研究の動機と目的

• 多言語的要約生成モデルにおける事実整合性の欠如（幻覚）という重要な問題に対処すること。
• 多言語的NLIによる事実整合性評価が、低リソース言語および高リソース言語の両方で要約性能を向上させうるかを調査すること。
• 強力な多言語的NLIモデルを用いて、XLSum多言語要約データセットにおける事実整合性の度合いを分析すること。
• NLI信号を用いた二つの実用的手法——データフィルタリングと制御的生成——を開発・評価し、要約の忠実性を向上させること。
• 今後の多言語的事実整合性評価分野の研究を支援するため、人間がアノテートした判断とモデルを公開すること。

提案手法

• XNLIベンチマーク上で多言語的NLIモデルを微調整し、入力文書と生成された要約の間の事実整合性を評価する。
• XLSumデータセットのすべての訓練例に対してNLIモデルを適用し、事実的に整合性のない要約を特定・フィルタリングする。
• NLIモデルが『含意』と予測した入力-要約ペアのみで学習するというデータフィルタリングを実装する。
• デコード中にNLIモデルの予測結果（含意または矛盾）を条件として与えることで、制御的生成を実装する。
• NLIモデルの信頼度スコアを用いて訓練および推論をガイドし、主な要約モデルの再訓練を必要とせずに忠実性を向上させる。
• 45言語にわたり人間の判断を収集し、要約品質、事実整合性、情報量の評価を実施。これに基づいて自動指標を学習する。

実験結果

リサーチクエスチョン

• RQ1 XLSum多言語要約データセットにおいて、さまざまな言語で事実整合性の欠如はどの程度深刻な問題であるか？
• RQ2 多言語的NLIモデルは、事実的に整合性のない訓練例を効果的に検出しフィルタリングすることで、要約品質の向上に寄与できるか？
• RQ3 NLI予測（含意／矛盾）を条件として要約モデルを制御的に生成することで、標準的な学習と比較してより忠実で正確な要約が得られるか？
• RQ4 提案手法（フィルタリングと制御的生成）は、多様な言語で自動評価および人間評価指標にどの程度向上効果をもたらすか？
• RQ5 45言語にわたる人間によるアノテーション判断を用いて、多言語的要約における事実整合性を評価する信頼性の高い自動指標を学習できるか？

主な発見

• 多言語的NLIモデルによると、XLSumデータセットの一部の言語では、訓練例の最大70％が事実的に整合性がなかったことが判明し、大きなデータ品質問題を示している。
• NLIモデルを用いたデータフィルタリングにより、事実整合性が顕著に向上した。人間評価では、ベーシックなベースラインと比較して忠実性が向上した。
• NLI信号を条件として用いる制御的生成により、要約品質がさらに向上し、特に幻覚の低減と情報量の維持の両面で効果を示した。
• フィルタリングと制御的生成の組み合わせは、45言語すべてで自動評価（ROUGE）および人間評価の両方において、強力なベースラインを上回った。
• 45言語にわたる人間の判断を用いて学習した自動指標は、人間評価の品質、事実整合性、情報量の各指標と良好に相関していた。
• 著者らは、多言語的NLIモデル、要約モデル、および人間の判断を公開し、今後の多言語的事実整合性評価分野の研究を支援した。