[論文レビュー] A Survey of Pre-trained Language Models for Processing Scientific Text

Xanh Ho, Anh Khoa Duong Nguyen+7 more|arXiv (Cornell University)|Jan 31, 2024

Topic Modeling被引用数 4

ひとこと要約

本論文は、2019年から2023年までの間、生物医学、コンピュータサイエンス、化学、数学分野における科学的テキスト向け事前学習言語モデル（SciLMs）の、初めての包括的サーベイを提示している。117のモデルを対象に、モデルアーキテクチャ、パフォーマンスのトレンド、評価手法を分析し、耐性、一般化、説明可能性における主なギャップを特定。信頼性があり、ドメインや言語に依存しないSciLMの開発を促進するため、標準化されたベンチマークとマルチモーダル統合を提案する。

ABSTRACT

The number of Language Models (LMs) dedicated to processing scientific text is on the rise. Keeping pace with the rapid growth of scientific LMs (SciLMs) has become a daunting task for researchers. To date, no comprehensive surveys on SciLMs have been undertaken, leaving this issue unaddressed. Given the constant stream of new SciLMs, appraising the state-of-the-art and how they compare to each other remain largely unknown. This work fills that gap and provides a comprehensive review of SciLMs, including an extensive analysis of their effectiveness across different domains, tasks and datasets, and a discussion on the challenges that lie ahead.

研究の動機と目的

• 科学的言語モデル（SciLMs）に関する包括的サーベイの欠如が、それらの進化と相対的パフォーマンスの理解を妨げてきたという問題に対処する。
• ドメイン、言語、アーキテクチャの観点から、117のSciLMsを体系的にレビューし、NER、QA、関係抽出などのNLPタスクにおける有効性に焦点を当てる。
• 時間経過に伴うパフォーマンスのトレンドを分析し、生物医学分野やBERTベースのエンコーダーへの偏り、非英語言語およびマルチモーダルモデルの台頭を明らかにする。
• 耐性、一般化、説明可能性における重要な課題を特定し、今後のモデル開発のための実行可能な改善策を提案する。
• ドメインやタスクにかかわらず、公平で信頼性のあるSciLMの評価を可能にするために、標準化されたマルチドメインベンチマークの導入を提唱する。

提案手法

• 2019年から2023年9月までの間に発表された科学的テキスト向け事前学習言語モデルを同定・分類するために、体系的な文献レビューを実施した。
• モデルは、ドメイン（生物医学、CS、化学、数学）、言語（特に非英語言語）、モデルサイズ（パラメータ数とアーキテクチャタイプ）の3つの次元に基づいて分析された。
• 12の一般的なNLPタスクと25のベンチマークデータセットを用いてパフォーマンス評価を実施し、タスク固有の指標と時間的トレンドに注目した。
• 本サーベイは、現在の評価手法における主な制限を特定している。具体的には、十分な敵対的テストの欠如、データセット間での一般化評価の不足、説明に配慮したデータセットの希少性である。
• SciLMの改善のための提言も行っている。知識ベースの統合、モデルサイズの拡大、マルチモーダルコンテンツ（例：図、表）の活用、低リソース言語のサポートが含まれる。
• モデルやタスク間での公平で再現可能な比較を保証するため、標準化されたマルチドメインベンチマークの導入を要請している。

実験結果

リサーチクエスチョン

• RQ1 2019年から2023年までの間、科学的テキスト向け事前学習言語モデルの現状はいかに変化したか。アーキテクチャ、ドメインカバレッジ、言語サポートの観点から説明せよ。
• RQ2 SciLMsは主な科学的NLPタスクでどのようにパフォーマンスを示しているか。時間経過に伴う主なアーキテクチャとパフォーマンストレンドは何か。
• RQ3 現在のSciLMsの評価手法における主な制限、特に耐性、一般化、説明可能性の観点から何が問題か。
• RQ4 知識ベースの統合、マルチモーダルコンテンツ、低リソース言語のサポートを通じて、今後のSciLMsはどのように改善できるか。
• RQ5 標準化されたベンチマークは、ドメインやタスクを越えてSciLMsの公平かつ信頼性のある比較を可能にするために果たすべき役割は何か。

主な発見

• 大多数のSciLMsは依然として生物医学分野に集中しており、BERTベースのエンコーダーアーキテクチャが支配的であるが、非英語言語やマルチモーダルモデルへの関心の高まりも顕著である。
• PubMedQA、SciFact、MedNLIなどの標準ベンチマークでのパフォーマンスは時間経過とともに着実に向上しているが、その向上はしばしば段階的で、モデルアーキテクチャに依存している。
• 説明のアノテーションを含む科学的データセットはわずか4つ（PubMedQA、SciFact、QASPER、NLI4CT）にとどまっており、SciLMsの説明可能性研究における深刻なギャップを示している。
• 敵対的耐性テストはSciLMsにほとんど適用されておらず、同じタスク内でのデータセット間一般化評価、特に低リソース環境下では不十分に評価されている。
• NLI4CTデータセット（2,400件のインスタンス）は、臨床試験向けの最近のNLIデータセットとして唯一のものであり、科学的テキスト向けの大規模かつ多様なNLIデータの不足を強調している。
• 知識ベースの統合、モデルサイズの拡大、マルチモーダルコンテンツ（例：図、表）の活用を通じて、SciLMの信頼性とパフォーマンスを向上させることが著者らの提言である。