[論文レビュー] Dimsum @LaySumm 20: BART-based Approach for Scientific Document Summarization

Tiezheng Yu, Dan Su+2 more|arXiv (Cornell University)|Oct 19, 2020

Topic Modeling参考文献 23被引用数 9

ひとこと要約

本論文では、文単位のラベルを補助的監視信号として用いることで性能を向上させるBARTベースの科学文書簡易要約モデルを提案する。この手法は、CL-LaySumm 2020共有タスクでRouge1-F1スコア46.00%を達成し、多値ラベル監視が要約生成中の文単位理解を向上させることで、精度とF1スコアの向上を実現していることを示している。

ABSTRACT

Lay summarization aims to generate lay summaries of scientific papers automatically. It is an essential task that can increase the relevance of science for all of society. In this paper, we build a lay summary generation system based on the BART model. We leverage sentence labels as extra supervision signals to improve the performance of lay summarization. In the CL-LaySumm 2020 shared task, our model achieves 46.00\% Rouge1-F1 score.

研究の動機と目的

• 科学的研究への一般大衆のアクセスを高めるために、自動化された簡易要約の需要が高まっているという状況に対応する。
• 文単位のラベルを補助的監視信号として組み込むことで、科学論文の抽象的要約の性能を向上させる。
• 入力構成（要約、序論、結論）、データ拡張、二段階微調整の影響が要約性能に与える影響を調査する。
• 多値ラベル監視が、簡易要約のモデルの精度とF1スコアの向上に与える有効性を評価する。
• 一般向けに適した簡潔で技術的でない要約を生成するための堅牢で汎用性の高いモデルを開発する。

提案手法

• 抽象、序論、結論のセクションを入力として用い、科学論文上でBART largeモデルを微調整する。
• 各文の前に[CLS]トークンを挿入し、トレーニング中に二値の文ラベルを追加の監視信号として使用する。
• 抽象的要約損失と抽出的文選択損失の両方を組み合わせ、エンドツーエンドでモデルを訓練する。
• GPUメモリ制限のため、1000ステップのウォームアップを伴う動的ラーニングレートスケーリングと、10イテレーション分の勾配蓄積を適用する。
• 語彙置換に基づくデータ拡張を実装し、トレーニングデータの多様性を高めるが、文法的ノイズの可能性のため、効果は限定的であった。
• 二段階微調整戦略（まずScisummNetで、次にCL-LaySumm 2020で）を実施したが、ドメインのズレのため性能向上が得られなかった。

実験結果

リサーチクエスチョン

• RQ1 文単位のラベルを監視信号として組み込むことで、抽象的簡易要約の性能がどのように向上するか？
• RQ2 簡潔で高品質な簡易要約を生成するための最適な入力構成（例：要約のみ vs. 要約＋序論＋結論）は何か？
• RQ3 語彙置換を用いたデータ拡張は、CL-LaySumm 2020ベンチマークにおけるモデルの一般化性能と性能向上に寄与するか？
• RQ4 ScisummNetで微調整した後にCL-LaySumm 2020で微調整する二段階微調整戦略は、ドメインの違いがあるにもかかわらず性能向上をもたらすか？
• RQ5 異なる入力長さとコンテンツ選択戦略は、モデルが正確で簡潔な簡易要約を生成する能力にどのように影響するか？

主な発見

• 序論と結論を入力に追加することで、Rouge1-F1が43.50%（要約のみ）から45.36%に顕著に向上した。
• 最初の段落のみでなく、完全な序論を入力に使用した場合、入力長とノイズの増加によりわずかに性能が低下した。
• 多値ラベル監視により、Rouge1-F1が46.00%に上昇し、精度の向上が確認された。これは、文単位の重要度検出が向上したことを示している。
• 語彙置換によるデータ拡張は性能向上に寄与せず、ノイズの導入によりモデルの頑健性が低下した可能性がある。
• 二段階微調整は性能向上に失敗した。これは、ScisummNet（計算言語学分野）とCL-LaySumm 2020（多分野の科学論文）との間でドメインのズレが生じたためと推測される。
• 最終的なモデルは、CL-LaySumm 2020のテストセットで46.00%のRouge1-F1スコアを達成し、多値ラベル監視を用いないベースラインBARTモデルを上回った。