[論文レビュー] Continual BERT: Continual Learning for Adaptive Extractive Summarization of COVID-19 Literature

Jong Won Park|arXiv (Cornell University)|Jul 7, 2020

Topic Modeling参考文献 19被引用数 10

ひとこと要約

本稿では、進化するCOVID-19文献の要約に向けたオンラインで継続的な学習を可能にする、新しいBERTベースのアーキテクチャ「Continual BERT」を提案する。2つのBERTモデル（アクティブコアと知識ベース）を用い、レイヤー単位の接続とエラスティックウェイトコンsolidation（EWC）を組み合わせることで、新たな出版物に適応しながらも、深刻な忘却を最小限に抑える。ROUGEスコアが高く、現実の科学的テキストにおいて一貫性があり文脈的に関連性のある要約を生成する。

ABSTRACT

The scientific community continues to publish an overwhelming amount of new research related to COVID-19 on a daily basis, leading to much literature without little to no attention. To aid the community in understanding the rapidly flowing array of COVID-19 literature, we propose a novel BERT architecture that provides a brief yet original summarization of lengthy papers. The model continually learns on new data in online fashion while minimizing catastrophic forgetting, thus fitting to the need of the community. Benchmark and manual examination of its performance show that the model provide a sound summary of new scientific literature.

研究の動機と目的

• 急速に増加するCOVID-19科学的文献をリアルタイムで要約する課題に対処すること。
• 過去の出版物からの知識を保持しながら、時間的順序に従う新しいデータに適応するBERT用の継続的学習フレームワークを開発すること。
• 元のテキストを保存し、長く複雑な論文全体に散らばった重要な文を強調する抽出要約を可能にすること。
• ストリーミングされる科学的出版物に対するオンライン微調整において、深刻な忘却を最小限に抑えること。
• ROUGEスコアと人的評価を用いて、一般科学的文献およびドメイン特化型のCOVID-19論文の両方で性能を評価すること。

提案手法

• モデルは2つの同一のBERT-baseエンコーダー（アクティブコア（AC）と知識ベース（KB））を用いる。ACは現在のタスク学習に使用され、KBは以前に学習した知識を保持する。
• ACとKB間のレイヤー単位の接続により、知識の転送が可能となり、KBのパラメータがエラスティックウェイトコンsolidation（EWC）を用いてACに統合される。
• 進捗（ACの微調整）と圧縮（KBの統合）のステージを交互に実行する訓練プロセスにより、新しい知識と古い知識のバランスが取られる。
• ACの上に、2層のTransformerエンコーダーを積み重ね、入力テキストから要約文を分類・抽出する。
• モデルは各文を分類インスタンスとして扱い、[CLS]トークンを前置し、隣接する文を区別するための交互の単語埋め込みスキームを用いる。
• 訓練には線形のウォームアップスケジュール、重み減衰を伴うAdamW最適化手法、温度スケーリングを用いた知識蒸留、およびハイパーパramータ λ=15 と γ=0.99 を用いたEWCが用いられる。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、時間的順序に従う新しい科学的出版物のストリームから継続的に学習しながら、高い要約性能を維持できるか？
• RQ2 COVID-19文献の順次バッチに微調整された際、モデルは深刻な忘却をどれほど効果的に防止できるか？
• RQ3 PubMedからの歴史的医療知識の統合は、最新のドメイン特化型のCOVID-19論文における性能向上に寄与するか？
• RQ4 ROUGEスコアと人的評価において、モデルの性能は標準的な微調整ベースラインと比べてどうか？
• RQ5 レイヤー単位の接続とEWCメカニズムは、BERTベースの要約システムにおける継続的学習の安定化にどのような役割を果たすか？

主な発見

• 圧縮（統合）段階では訓練損失が0.21、進捗段階では2.15であった。これは、古い知識と新しい知識の間で効果的だが挑戦的なバランスが取れていることを示している。
• PubMedの論文において、Continual BERTはベースラインモデルを上回るROUGEスコアを達成した。特に、『ヒドロキシクロロキン』のような頻出する医学用語が歴史的文献に多く含まれていたことが、その要因となった。
• 人的評価により、モデルは文脈的に関連性があり一貫性のある抽出要約を生成することが確認された。これは、文献全体に散らばった重要な文を適切に選択していることを示している。
• ドメイン特化型で技術的含量の高い論文（例：PubMed）では強力な性能を示したが、より一般的な科学的論文（ScisummNet）ではやや劣る結果となった。
• 進捗段階の困難さは、パンデミック以前の古い出版物と、現代のCOVID-19中心の研究との間の情報格差に起因するとされた。
• スケーラブルなアーキテクチャのおかげで、長期的かつ頻繁な更新が可能であり、急速に進化する科学的文献のリアルタイム要約に適している。