[論文レビュー] MatSci-NLP: Evaluating Scientific Language Models on Materials Science Language Tasks Using Text-to-Schema Modeling

Yu Song, Santiago Miret+1 more|arXiv (Cornell University)|May 14, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、テキストからスキーマへのプロンプトを用いた材料科学タスクにおけるNLPモデルの評価を目的としたベンチマーク、MatSci-NLPを紹介する。ドメイン特化型事前学習（例：MatBERT）および質問応答にインspiredされた新しいタスクスキーマ入力形式が、低リソース環境下で標準的な微調整を上回る性能を示し、7つの材料科学NLPタスクで優れた結果を達成した。

ABSTRACT

We present MatSci-NLP, a natural language benchmark for evaluating the performance of natural language processing (NLP) models on materials science text. We construct the benchmark from publicly available materials science text data to encompass seven different NLP tasks, including conventional NLP tasks like named entity recognition and relation classification, as well as NLP tasks specific to materials science, such as synthesis action retrieval which relates to creating synthesis procedures for materials. We study various BERT-based models pretrained on different scientific text corpora on MatSci-NLP to understand the impact of pretraining strategies on understanding materials science text. Given the scarcity of high-quality annotated data in the materials science domain, we perform our fine-tuning experiments with limited training data to encourage the generalize across MatSci-NLP tasks. Our experiments in this low-resource training setting show that language models pretrained on scientific text outperform BERT trained on general text. MatBERT, a model pretrained specifically on materials science journals, generally performs best for most tasks. Moreover, we propose a unified text-to-schema for multitask learning on \benchmark and compare its performance with traditional fine-tuning methods. In our analysis of different training methods, we find that our proposed text-to-schema methods inspired by question-answering consistently outperform single and multitask NLP fine-tuning methods. The code and datasets are publicly available at \url{https://github.com/BangLab-UdeM-Mila/NLP4MatSci-ACL23}.

研究の動機と目的

• 材料科学のテキストに対する包括的で標準化されたベンチマークが不足している、特に低リソース環境下での評価の課題を解決すること。
• ドメイン特化型、一般科学的、一般言語の事前学習戦略が、材料科学NLPタスクの下流性能に与える影響を調査すること。
• 多タスク学習を促進する統一されたテキストからスキーマへのフレームワークを設計・評価し、さまざまな材料科学NLPタスクにおいてモデルの汎化性能と性能を向上させること。
• 限られたアノテーションデータを有する状況において、従来の微調整と比較して、新しいスキーマベースのプロンプティング手法の有効性を評価すること。

提案手法

• 公開済みの材料科学テキストを用いて、命名エンティティ認識、関係分類、合成プロセスアクション検索を含む7つの異なるNLPタスクを含むベンチマーク「MatSci-NLP」を構築した。
• 質問応答にインspiredした複数のテキスト入力スキーマを設計し、タスク固有およびマルチタスク形式を含めることで、学習効率を向上させた。
• タスク間の入力を統一するため、質問応答スタイルのプロンプトを用いた新しい「タスクスキーマ入力形式」を提案した。
• MatBERT や SciBERT などの一般BERTからドメイン特化型モデルまで、さまざまなBERTベースのモデルを、低データ条件下でMatSci-NLPベンチマーク上で微調整した。
• F1スコアや正答率などの標準的なNLP指標を用いて、すべてのタスクで性能を評価し、スキーマベースのプロンプティングと単一タスク・マルチタスク微調整を比較した。
• 提案されたテキストからスキーマへの手法には、統一されたエンコーダデコーダアーキテクチャを採用し、異なるドメインやタスクに柔軟に適応可能であることを実現した。

Figure 1: Example of different question-answering inspired textual input schemas (Task-Schema , Potential Choices, Example) applied on MatSci-NLP. The input of the language model includes the shared text (green) along with relevant task details (blue for NER and orange for event extraction). The sha

実験結果

リサーチクエスチョン

• RQ1 材料科学の文書で事前学習された言語モデルは、一般言語または一般科学的文書で事前学習されたモデルと比較して、材料科学NLPタスクにおける性能にどのように影響を与えるか？
• RQ2 特に質問応答にインスパイアされたテキスト入力スキーマは、低リソース環境下での学習効率とモデル性能にどのように影響を与えるか？
• RQ3 統一されたテキストからスキーマへのマルチタスクフレームワークは、さまざまな材料科学NLPタスクにおいて、従来の単一タスクおよびマルチタスク微調整手法を上回る性能を発揮できるか？
• RQ4 ドメイン特化型事前学習と構造化された入力スキーマは、材料科学NLPアプリケーションにおける汎化性能と耐障害性をどの程度向上させるか？

主な発見

• 材料科学の学術雑誌で特化して事前学習されたBERTモデル「MatBERT」は、MatSci-NLPベンチマークの大多数のタスクで最も高い性能を示した。
• 科学的コーパスで事前学習されたモデル（例：SciBERT）は、一般ドメインBERTを上回り、一部のケースではMatSciBERT や BatteryBERT といった他のドメイン特化モデルをも上回った。
• 質問応答にインスパイアされた提案された「タスクスキーマ入力形式」は、すべての評価モデルとタスクで、単一タスク微調整および標準的なマルチタスク微調整を常に上回った。
• テキストからスキーマへのプロンプティングは、低リソース環境下でのモデルの汎化性能を顕著に向上させた。構造化された入力設計が、モデルアーキテクチャーや事前学習データと同等の影響を持つことが示された。
• 本研究では、タスクスキーマ手法で微調整されたモデルが、従来の微調整と比較して、すべてのタスクの平均F1スコアが高くなった。これは、学習効率が向上したことを示している。
• 限られたデータでも、注意深く設計されたスキーマは、単なるパターンマッチングを超えた理解を促進し、記憶のリスクを軽減できることが示唆された。

Figure 2: Unified text-to-schema method for MatSci-NLP text understanding applied across the seven tasks. The language model includes a domain specific encoder, which can be exchanged in a modular manner, as well as a general language pretrained transformer decoder.