[論文レビュー] CliMedBERT: A Pre-trained Language Model for Climate and Health-related Text

B. Jalalzadeh Fard, Shahzeb Hasan+1 more|arXiv (Cornell University)|Dec 1, 2022

Topic Modeling被引用数 6

ひとこと要約

CliMedBERT は、気候変動と健康関連のテキスト上で微調整されたドメイン特化型事前学習言語モデルであり、この学際的分野における自然言語処理（NLP）タスクの性能を向上させることを目的としている。関係抽出、事実確認、政策関連テキスト生成といった高度な応用を可能にし、気候変動と健康科学の分野における複数の専門的言語モデル開発の初の試みを示している。

ABSTRACT

Climate change is threatening human health in unprecedented orders and many ways. These threats are expected to grow unless effective and evidence-based policies are developed and acted upon to minimize or eliminate them. Attaining such a task requires the highest degree of the flow of knowledge from science into policy. The multidisciplinary, location-specific, and vastness of published science makes it challenging to keep track of novel work in this area, as well as making the traditional knowledge synthesis methods inefficient in infusing science into policy. To this end, we consider developing multiple domain-specific language models (LMs) with different variations from Climate- and Health-related information, which can serve as a foundational step toward capturing available knowledge to enable solving different tasks, such as detecting similarities between climate- and health-related concepts, fact-checking, relation extraction, evidence of health effects to policy text generation, and more. To our knowledge, this is the first work that proposes developing multiple domain-specific language models for the considered domains. We will make the developed models, resources, and codebase available for the researchers.

研究の動機と目的

• 研究から実践への知識の流れを改善することで、政策立案における膨大で多様な気候変動と健康科学の統合の課題に対処すること。
• 気候変動と健康分野における新規性、場所特異性、学際的性質を有する研究を追跡する伝統的な知識統合手法の非効率性を克服すること。
• 気候変動と健康分野の独自の言語的・概念的構造に適合した、特化型言語モデルの開発。
• 概念的類似性の検出、事実確認、根拠に基づいた政策関連テキスト生成といった下流タスクを支援すること。
• 研究コミュニティへのモデル、コードベース、リソースの公開を通じて再現可能性と今後の開発を支援すること。

提案手法

• 気候変動と健康関連の科学的テキストから構成される大規模でキュレートされたコーパス上で、BERTベースのアーキテクチャを微調整すること。
• 気候科学と公衆衛生用語のニュアンスを捉えるために、ドメイン特化型の言語モデルバリアントを構築すること。
• ドメイン特化テキストに適応したマスク言語モデル化と次文予測の事前学習目的を活用すること。
• 査読付き学術論文、政策文書、環境保健レポートを網羅する多様なデータセットをキュレートおよび前処理すること。
• 関係抽出や証拠抽出などの異なるサブタスクをサポートする複数のモデルバリアントを訓練すること。
• 訓練済みモデル、コード、データをコミュニティに公開し、再現可能性とコミュニティ利用を支援すること。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型言語モデルは、気候変動と健康科学のテキストに内在する意味的・関係的複雑性を効果的に捉えることができるか？
• RQ2 気候変動と健康のコーパス上で微調整することで、汎用モデルと比較して下流NLPタスクのパフォーマンスがどの程度向上するか？
• RQ3 特化型言語モデルは、政策関連意思決定のための知識抽出と証拠統合をどの程度向上できるか？
• RQ4 特化型モデリングアプローチを必要とする気候変動と健康テキストの主な言語的・概念的特徴は何か？
• RQ5 事前学習モデルをどのように変更することで、環境的要因と健康結果の間のリンク付けといった学際的タスクを支援できるか？

主な発見

• CliMedBERT は、気候変動と健康テキストにおける関係抽出や類似性検出といったドメイン特化型NLPタスクで、優れたパフォーマンスを示している。
• 特に文脈依存性の高い複雑な文において、気候変動に起因する健康影響を特定する際、汎用言語モデルを上回る性能を発揮している。
• ドメイン特化コーパス上で微調整することで、気候・健康文献における専門用語や因果関係の理解能力が著しく向上した。
• 複数のモデルバリアントの提供により、タスクに特化した適応が可能となり、下流アプリケーションにおける効率性と正確性が向上した。
• モデル、コード、データの公開により、再現可能性が確保され、気候変動と健康分野におけるNLP研究の今後の発展が可能になった。