[論文レビュー] Faithfulness in Natural Language Generation: A Systematic Survey of Analysis, Evaluation and Optimization Methods

Wei Li, Wenhao Wu+4 more|arXiv (Cornell University)|Mar 10, 2022

Topic Modeling被引用数 27

ひとこと要約

NLGにおける忠実性の系統的調査で、問題定義、評価指標、最適化戦略をタスク横断で分析し、非忠実な生成に対処する。

ABSTRACT

Natural Language Generation (NLG) has made great progress in recent years due to the development of deep learning techniques such as pre-trained language models. This advancement has resulted in more fluent, coherent and even properties controllable (e.g. stylistic, sentiment, length etc.) generation, naturally leading to development in downstream tasks such as abstractive summarization, dialogue generation, machine translation, and data-to-text generation. However, the faithfulness problem that the generated text usually contains unfaithful or non-factual information has become the biggest challenge, which makes the performance of text generation unsatisfactory for practical applications in many real-world scenarios. Many studies on analysis, evaluation, and optimization methods for faithfulness problems have been proposed for various tasks, but have not been organized, compared and discussed in a combined manner. In this survey, we provide a systematic overview of the research progress on the faithfulness problem of NLG, including problem analysis, evaluation metrics and optimization methods. We organize the evaluation and optimization methods for different tasks into a unified taxonomy to facilitate comparison and learning across tasks. Several research trends are discussed further.

研究の動機と目的

• NLGにおける忠実性の問題を、非開放的タスクと開放的タスクの両方にわたって定義し、分類する。
• 事実的一貫性を評価する自動評価指標を調査し、比較する。
• タスク別に最適化アプローチ（事実指針、補助タスク、学習、デコード、ポストエディティング）を要約する。
• 忠実性研究の課題、メタ評価、将来の方向性について論じる。

提案手法

• NLGタスクを横断した忠実性評価と最適化の統一された分類法を提案する。
• 問題設定と忠実性の誤りの分類（intrinsic vs extrinsic、細粒度の事実誤りタイプ）を分析する。
• 包含推論ベース、QAベース、事実ベース、その他のカテゴリに整理された自動評価指標と、メタ評価をレビューする。
• タスク別（抽象的要約、対話、データ-to-テキスト、機械翻訳）および手法別（事実指針、補助タスク、制約付きデコード、ポストエディティング）に分けて最適化手法を要約する。
• 評価上の課題、アノテーションの問題、忠実性の欠如の原因（データ分岐、露出バイアス、表現）について議論する。

実験結果

リサーチクエスチョン

• RQ1 非開放的タスクと開放的タスクを横断して、NLGにおける忠実性とは何か？
• RQ2 事実的一貫性とハリソネーション（幻覚）をどのように定義し、分類するか。
• RQ3 どの指標がタスクを問わず人間の忠実性評価と信頼性のある相関を持つか。
• RQ4 異なるNLGタスクで忠実性を最も改善する最適化戦略は何か。
• RQ5 評価と改善における主な課題と今後の方向性は何か。

主な発見

• 忠実性は流暢さや情報性にもかかわらず、現代のNLGにおける主要な課題として特定されている。
• 忠実性評価の分類法が提案され、含推論ベース、QAベース、事実ベースの指標とメタ評価を含む。
• 忠実性の人為的アノテーションは顕著な評者間変動を示し、評価の難しさを浮き彫りにしている。
• データセット（例：XSumとCNN/DM）は観測される忠実性に著しく影響を与え、データ分岐を外在的誤差の主要因として示唆している。
• タスクを跨いで、最適化手法には事実指針、補助タスク、制約付きデコード、ポストエディティングが含まれ、タスク特有の適応を伴う。
• 従来のn-gramオーバーラップを超える評価指標が、事実的正確さと一貫性を捉えるために必要であると強調されている。