[論文レビュー] Towards Answering Climate Questionnaires from Unstructured Climate Reports

Daniel Spokoyny, Tanmay Laud+2 more|arXiv (Cornell University)|Jan 11, 2023

Computational and Text Analysis Methods被引用数 5

ひとこと要約

本稿では、非構造化気候レポートを構造化されたアンケート回答にマッピングする自己教師ありモデルを訓練するための、大規模な気候アンケートデータセット2つ、Clima-CDP および Clima-Ins を紹介する。モデルは利害関係者タイプの間で一般化し、人間によるパイロット研究において予測された質問テキストの整合性のうち71.0%が気候専門家によって関連性があると評価された。これは、気候レポートの構造化を自動化する可能性を示している。

ABSTRACT

The topic of Climate Change (CC) has received limited attention in NLP despite its urgency. Activists and policymakers need NLP tools to effectively process the vast and rapidly growing unstructured textual climate reports into structured form. To tackle this challenge we introduce two new large-scale climate questionnaire datasets and use their existing structure to train self-supervised models. We conduct experiments to show that these models can learn to generalize to climate disclosures of different organizations types than seen during training. We then use these models to help align texts from unstructured climate documents to the semi-structured questionnaires in a human pilot study. Finally, to support further NLP research in the climate domain we introduce a benchmark of existing climate text classification datasets to better evaluate and compare existing models.

研究の動機と目的

• 政策立案者や研究者にとって、比較可能な形式で利用可能な構造化されたフォーマットに非構造化された気候レポートを変換するためのNLPツールの不足に対処すること。
• 企業や都市などから提出される気候開示内容（例：CDPなど）を標準化されたアンケートにマッピングするために必要な手作業の負担を軽減すること。
• 構造化されたアンケートに基づいて訓練された自己教師ありモデルが、訓練時に見られなかった異なる利害関係者タイプ（例：都市 vs. 企業）に一般化できるかどうかを評価すること。
• 既存および将来の気候特化NLPモデルの評価と比較を可能にするため、ClimaBench と呼ばれるベンチマークを確立すること。
• 訓練されたモデルが、実際の非構造化気候行動計画をCDPアンケートのカテゴリにマッピングするという現実世界の応用可能性を示すこと。

提案手法

• 公に利用可能な準構造化された気候アンケートを基に、企業および都市の開示内容を含む Clima-CDP（企業および都市開示）と、保険会社の開示内容を含む Clima-Ins（保険会社開示）の2つの新しいデータセットを構築する。
• アンケートの内部構造を活用して自己教師ありテキスト分類モデルを訓練し、各質問-回答ペアを分類タスクとして扱う。
• ドメイン内およびドメイン間の訓練・評価プロトコルを適用し、利害関係者タイプ間での一般化を評価する。
• 微調整された MiniLM 交差エンコーダー モデルを用いて、非構造化気候行動計画（CAPs）のテキストセグメントとCDPアンケートの質問との間の関連スコアを計算する。
• 気候専門家が、上位5件のモデル予測された質問-テキスト整合性を3段階の関連性スケールで評価する人間による評価パイロットを実施する。
• さまざまなタスクをカバーする5つの既存および2つの新規の気候テキスト分類データセットを含む、ClimaBench と呼ばれるベンチマークを構築し、モデルのパフォーマンスを評価する。

Figure 1: We conduct 3 experiments on CDP-QA . In-Domain ( 5.3 ) refers to training and evaluating on the same stakeholder-type . Cross-Domain ( 5.4 ) refers to training and testing on different stakeholder-type s. Finally, Unstructured Questionnaire Filling ( 5.5 ) involves training on the whole CD

実験結果

リサーチクエスチョン

• RQ1 構造化された気候アンケートに基づいて訓練された自己教師ありモデルは、訓練時に見られなかった新たな利害関係者タイプに一般化できるか？
• RQ2 実世界の気候行動計画からの非構造化テキストセグメントが、標準化されたアンケートの対応する質問にどの程度適切にマッピングできるか？
• RQ3 一般向けNLPモデルは、気候特化モデル（例：ClimateBERT）よりも気候テキスト分類タスクで優れた性能を示すか？
• RQ4 現実的で専門家による評価が行われた環境下で、モデルが生成した整合性のヒューリスティックなパフォーマンスはどの程度か？
• RQ5 統一されたベンチマークは、気候NLP分野におけるNLPモデルの評価と比較を向上させられるか？

主な発見

• 人間による評価で71.0%の関連性率を達成し、予測の35.6%が「非常に関連性がある」と評価された。これは、非構造化テキストとアンケートの質問との間で強い整合性があることを示している。
• モデルはドメイン間一般化を示し、ある利害関係者タイプ（例：州）のテキストを、別のタイプ（例：企業）のアンケートに適切にマッピングできた。組織タイプ間での転送性が示された。
• ClimaBenchベンチマークにおいて、一般向けモデルが、ClimateBERTのようなドメイン特化モデルを上回り、複数の気候テキスト分類タスクで優れたパフォーマンスを示した。これは、ドメイン特化モデルの優位性に関する仮定に疑問を呈するものである。
• 人間による評価から、より具体的で関連性の高い質問は、一般的な質問よりも低い順位づけられがちなことが判明。これは、再ランク付けやモデルのキャリブレーションの改善が求められることを示唆している。
• 本研究は、自己教師ありモデルを用いて非構造化気候開示内容を構造化されたアンケートに自動マッピングする可能性を示した。これは、手作業による負担を顕著に軽減できる。
• 著者らは、ClimaBench および訓練済みモデル（例：miniLM-cdp-all）を公開し、気候NLP分野における今後の研究およびモデル開発を支援した。