[論文レビュー] ClimateBert: A Pretrained Language Model for Climate-Related Text

Nicolas Webersinke, Mathias Kraus+2 more|arXiv (Cornell University)|Oct 22, 2021

Computational and Text Analysis Methods被引用数 8

ひとこと要約

ClimateBert は、ニュース、研究論文、企業の開示文書から抽出した 200 万件以上の気候関連テキストパラグラフを用いて事前学習されたドメイン適応型のトランスフォーマー基盤言語モデルである。これはマスクされた言語モデル化（masked language modeling）において 48% の向上を達成し、テキスト分類、センチメント分析、事実確認などの下流タスクにおいて誤差率を 3.57% から 35.71% まで低減させ、気候分野特有の NLP タスクにおいて一般ドメインモデルを上回る性能を示した。

ABSTRACT

Over the recent years, large pretrained language models (LM) have revolutionized the field of natural language processing (NLP). However, while pretraining on general language has been shown to work very well for common language, it has been observed that niche language poses problems. In particular, climate-related texts include specific language that common LMs can not represent accurately. We argue that this shortcoming of today's LMs limits the applicability of modern NLP to the broad field of text processing of climate-related texts. As a remedy, we propose CLIMATEBERT, a transformer-based language model that is further pretrained on over 2 million paragraphs of climate-related texts, crawled from various sources such as common news, research articles, and climate reporting of companies. We find that CLIMATEBERT leads to a 48% improvement on a masked language model objective which, in turn, leads to lowering error rates by 3.57% to 35.71% for various climate-related downstream tasks like text classification, sentiment analysis, and fact-checking.

研究の動機と目的

• 一般ドメイン言語モデルが気候分野特有の用語や議論を正確に表現できないという限界を解消すること。
• 気候関連テキストの多様で高品質なコーパスを用いて事前学習された専用言語モデルを開発し、気候科学および気候政策分野における NLP のパフォーマンスを向上させること。
• テキスト分類、センチメント分析、事実確認などの下流タスクにおいて、顕著なパフォーマンス向上を示すこと。
• GitHub および Hugging Face を通じてトレーニングコード、モデル重み、ハイパーパramータを公開することで、オープンサイエンスを推進すること。
• 蒸留された小型モデル（Distil RoBERTa）を用い、効率的なデータ収集と、気候変動対策のための寄付による炭素オフセットを通じて、環境への影響を最小限に抑えること。

提案手法

• ニュース、科学論文、企業の気候関連報告書から構成される、200 万件の気候関連テキストパラグラフを対象とした大規模で洗練されたコーパスを用いて、ベースの Distil RoBERTa モデルを事前学習した。
• ドメイン適応型事前学習を実施し、ベースモデルを気候分野特有のテキストでファインチューニングすることで、ドメイン固有の言語的パターンや用語を学習した。
• 事前学習中に主にマスクされた言語モデル化（MLM）を目的とし、ドメイン適応の有効性を評価するための主要指標として損失の低減を用いた。
• 3 つの下流タスクでのパフォーマンスを評価した：気候リスク／機会に関する表明のテキスト分類、企業開示文書のセンチメント分析、気候主張の事実確認。
• 計算コストおよび炭素排出量を低減するために、最小限のハイパーパramータチューニングを採用した軽量なトレーニング戦略を用い、効率的かつ再現性のあるトレーニングを重視した。
• モデルの炭素フットプリントを補償するために、森林造成に依存するのではなく、再生可能エネルギーおよびクリーンテクノロジー事業を支援する非営利団体 atmosfair に 100 ユーロを寄付した。

実験結果

リサーチクエスチョン

• RQ1 気候分野特有のテキストを用いたドメイン適応型事前学習は、一般ドメインモデルと比較して、下流タスクにおける言語モデルのパフォーマンスを顕著に向上させるか？
• RQ2 専用の気候コーパスで学習された場合、ClimateBert のマスクされた言語モデル化損失はベースラインモデルと比べてどの程度異なるか？
• RQ3 ClimateBert は、気候変動関連のテキスト分類、センチメント分析、事実確認タスクにおいて、誤差率をどの程度低減させるか？
• RQ4 気候分野特有の言語モデルをトレーニングする際の環境的コストは何か？ そして、パフォーマンスを損なわせることなく、どのようにしてこれを軽減できるか？
• RQ5 Distil RoBERTa のような蒸留された小型モデルは、炭素排出量を最小限に抑えながら、気候 NLP で最先端のパフォーマンスを達成できるか？

主な発見

• ClimateBert は、ベースの Distil RoBERTa モデルと比較して、気候分野特有のコーパスにおいてマスクされた言語モデル化損失を相対的に 48% 減少させた。
• テキスト分類タスクでは、ベースラインと比較して誤差率を 3.57% 減少させ、重み付き F1 スコアが 0.757 に達し、以前の最先端（SotA）結果を上回った。
• 企業の気候開示文書のセンチメント分析において、ClimateBert は重み付き F1 スコア 0.757 を達成し、ベースラインと比較して誤差率が 35.71% 減少した。
• Climate-Fever データセットを用いた気候主張の事実確認タスクにおいて、ClimateBert は重み付き F1 スコア 0.757 を達成し、以前の SotA モデルを 3.89 パcentポイント上回った。
• モデルの炭素フットプリントは 115.15 kg CO2e と測定されたが、モデル効率化、データ品質管理、および再生可能エネルギーおよびクリーンテクノロジー事業を支援するための 100 ユーロの寄付を通じて補償された。
• ClimateBert のパフォーマンス向上は、すべての 3 つの下流タスクで一貫しており、気候関連 NLP 応用におけるドメイン適応型事前学習の価値を示している。