[論文レビュー] Learning to Reason for Text Generation from Scientific Tables

Nafise Sadat Moosavi, Andreas Rücklé+2 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 36被引用数 11

ひとこと要約

この論文は、数値的推論を要する科学的表からの推論対応テキスト生成のための、大規模なデータセットであるSciGenを紹介する。BART や T5 といった最先端モデルの評価を通じて、流暢さは保証されるが事実の正確性に著しい欠陥が明らかになり、信頼できる自動評価指標の欠如が主な障壁であることが判明。人間による評価では、最良ケースでも正確性は40%にとどまる。

ABSTRACT

In this paper, we introduce SciGen, a new challenge dataset for the task of reasoning-aware data-to-text generation consisting of tables from scientific articles and their corresponding descriptions. Describing scientific tables goes beyond the surface realization of the table content and requires reasoning over table values. The unique properties of SciGen are that (1) tables mostly contain numerical values, and (2) the corresponding descriptions require arithmetic reasoning. SciGen is therefore the first dataset that assesses the arithmetic reasoning capabilities of generation models on complex input structures, i.e., tables from scientific articles. We study the effectiveness of state-of-the-art data-to-text generation models on SciGen and evaluate the results using common metrics as well as human evaluation. Our results and analyses show that (a) while humans like to reason for describing scientific tables, the ability of state-of-the-art models is severely limited on this task, (b) while adding more training data improves the results, it is not the solution for reasoning-aware text generation, and (c) one of the main bottlenecks for this task is the lack of proper automatic evaluation metrics. The data, code, and annotations for human evaluation will be available at https://github.com/UKPLab/SciGen. SciGen opens new avenues for future research in reasoning-aware text generation and evaluation.

研究の動機と目的

• 科学的表を記述する際の算術的推論能力に欠けるデータトゥーテキスト生成モデルのギャップを埋める。
• 数値を含む科学的表を用いた推論対応テキスト生成のための高品質でスケーラブルなデータセットを構築する。
• 高品質な表記述ペairを抽出する非教師付きパイプラインを開発し、高価な専門家によるアノテーションへの依存を減らす。
• 自動評価指標と人間評価の両方を用いて、最先端モデル（例：BART, T5）の推論対応テキスト生成性能を評価する。
• 既存の自動評価指標の限界を特定し、推論を要する生成タスクにおいて、人間の判断と相関が低いことを示す。

提案手法

• コンピュータサイエンス分野の学術論文から、算術的推論（例：argMax、比較、減算）を要するものを対象として、1.3Kの専門家アノテート済み表記述ペアを収集・整備する。
• LaTeXファイルから表とその対応する記述を自動的にペアリングする非教師付き抽出パイプラインを開発し、スケーラブルなデータ収集を実現する。
• 専門家アノテート済みおよび自動抽出済みペアを組み合わせて、少データ（few-shot）（専門家アノテート済み）、中規模、大規模の3つのデータセット分割を構築する。
• 低品質な自動抽出ペアをフィルタリングするためのポストプロセッシングおよびプルーニング技術を適用し、トレーニングに適した高品質なデータを確保する。
• SciGenデータセット上で、最新のシーケンス・トゥ・シーケンスモデル（BART および T5）を微調整し、表からのテキスト生成を実行する。
• 各文について4つのラベル（含意、余分、誤り、幻覚）を用いた人間評価を実施し、再現率、適合率、正確性、幻覚率を算出する。

実験結果

リサーチクエスチョン

• RQ1 最先端の事前学習済み言語モデルは、算術的推論を要する科学的表からの推論対応テキスト生成タスクでどの程度の性能を示すか？
• RQ2 自動抽出されたトレーニングデータを追加することで、モデルの性能と事実の正確性にどのような影響を与えるか？
• RQ3 一般的に用いられる自動評価指標（例：BLEU, ROUGE）は、推論対応テキスト生成の評価においてどの程度信頼できるか？
• RQ4 現在のモデルが科学的表からの記述生成において、主な失敗モードは何か？
• RQ5 人間評価は、自動指標が検出できない限界をどの程度明らかにするか？

主な発見

• BART や T5 といった最先端モデルは、流暢で一貫性のあるテキストを生成するが、算術的推論能力に欠けるため、60%以上のケースで事実が誤りである。
• 人間評価では、生成された記述の正確性はたった40%にとどまり、正解文の10%しかカバーされていないため、大きな性能ギャップが明らかになった。
• 自動抽出されたトレーニングデータを追加することで、再現率、適合率、正確性が向上し、幻覚が減少するが、大規模設定では中規模設定より正確性が低く、ドメインシフトの影響が考えられる。
• BLEU や ROUGE といった一般的な自動評価指標は、人間の判断と相関が低く、高品質と低品質の出力を信頼性を持って区別できない。
• 人間評価により、誤った記述はしばしば表の内容とは関係があるが事実に反する（例：モデル性能の比較を誤って記述）ことが判明し、深刻な失敗モードであることが明らかになった。
• 信頼できる自動評価指標の欠如が、推論対応テキスト生成分野における進展の主な障壁であると特定され、人間評価が意味のある評価に不可欠であることが示された。