[논문 리뷰] Towards Answering Climate Questionnaires from Unstructured Climate Reports

Daniel Spokoyny, Tanmay Laud외 2명|arXiv (Cornell University)|2023. 01. 11.

Computational and Text Analysis Methods인용 수 5

한 줄 요약

이 논문은 자율학습 모델을 훈련시켜 비구조화된 기후 보고서를 구조화된 설문지 답변으로 매핑할 수 있도록 하는 두 개의 대규모 기후 설문지 데이터셋인 Clima-CDP와 Clima-Ins를 소개한다. 모델은 이해관계자 유형 간으로 일반화되며, 인간 피LOT 연구에서 예측된 질문-텍스트 매칭 중 71.0%가 기후 전문가에 의해 관련성이 있다고 평가되어 기후 보고서의 구조화를 자동화하는 데의 가능성을 입증한다.

ABSTRACT

The topic of Climate Change (CC) has received limited attention in NLP despite its urgency. Activists and policymakers need NLP tools to effectively process the vast and rapidly growing unstructured textual climate reports into structured form. To tackle this challenge we introduce two new large-scale climate questionnaire datasets and use their existing structure to train self-supervised models. We conduct experiments to show that these models can learn to generalize to climate disclosures of different organizations types than seen during training. We then use these models to help align texts from unstructured climate documents to the semi-structured questionnaires in a human pilot study. Finally, to support further NLP research in the climate domain we introduce a benchmark of existing climate text classification datasets to better evaluate and compare existing models.

연구 동기 및 목표

• 정책 입안자와 연구자들이 사용할 수 있는 비교 가능한 형식으로 비구조화된 기후 보고서를 변환할 수 있는 NLP 도구의 부족을 해결하기 위해.
• CDP와 같은 표준화된 설문지에 도시나 기업에서 제공하는 기후 공개 자료를 매핑하는 데 필요한 수작업을 줄이기 위해.
• 구조화된 설문지에서 훈련된 자율학습 모델이 훈련 중에 볼 수 없었던 다양한 이해관계자 유형(예: 도시 vs. 기업) 간에 일반화되는지 평가하기 위해.
• 기존 및 향후 기후 특화 NLP 모델을 평가하고 비교할 수 있는 벤치마크인 ClimaBench를 구축하기 위해.
• 실제 비구조화된 기후 행동 계획을 CDP 설문지 카테고리에 매칭하는 데에 훈련된 모델의 실생활 적용 가능성을 입증하기 위해.

제안 방법

• 공개된 부분적으로 구조화된 기후 설문지 기반으로 기업 및 도시 공개 자료를 포함한 Clima-CDP(기업 및 도시 공개 자료)와 보험사 공개 자료를 포함한 Clima-Ins(보험사 공개 자료)라는 두 가지 새로운 데이터셋을 구축한다.
• 각 질문-답변 쌍을 분류 작업으로 간주하여 설문지의 내부 구조를 활용해 자율학습 텍스트 분류 모델을 훈련시킨다.
• 도메인 내 및 도메인 간 훈련 및 평가 프로토콜을 적용하여 이해관계자 유형 간 일반화 능력을 평가한다.
• 비구조화된 기후 행동 계획(CAPs)의 텍스트 조각과 CDP 설문지 질문 간의 관련도 점수를 계산하기 위해 미세조정된 MiniLM 크로스-엔코더 모델을 사용한다.
• 기후 전문가가 상위 5개의 모델 예측된 질문-텍스트 매칭을 3단계 관련성 척도로 평가하는 인간 평가 피LOT를 실시한다.
• 다양한 작업을 통해 모델 성능을 평가하기 위해 기존 5개 및 신규 2개의 기후 텍스트 분류 데이터셋을 포함하는 ClimaBench를 구축한다.

Figure 1: We conduct 3 experiments on CDP-QA . In-Domain ( 5.3 ) refers to training and evaluating on the same stakeholder-type . Cross-Domain ( 5.4 ) refers to training and testing on different stakeholder-type s. Finally, Unstructured Questionnaire Filling ( 5.5 ) involves training on the whole CD

실험 결과

연구 질문

• RQ1 구조화된 기후 설문지에서 훈련된 자율학습 모델이 훈련 중에 볼 수 없었던 새로운 이해관계자 유형으로 일반화될 수 있는가?
• RQ2 이러한 모델은 실제 기후 행동 계획의 비구조화된 텍스트 조각을 표준화된 설문지의 해당 질문에 얼마나 효과적으로 매핑할 수 있는가?
• RQ3 일반 목적의 NLP 모델이 기후 텍스트 분류 작업에서 도메인 특화 모델인 ClimateBERT보다 우수한 성능을 내는가?
• RQ4 실제 전문가 평가 환경에서 모델이 생성한 매칭의 인간 수준 성능은 어떠한가?
• RQ5 통합 벤치마크는 기후 NLP 분야에서 NLP 모델의 평가 및 비교를 향상시킬 수 있는가?

주요 결과

• 인간 평가에서 모델은 71.0%의 관련성 비율을 기록했으며, 이 중 35.6%의 예측가지 '매우 관련성 있음'으로 평가되어 비구조화된 텍스트와 설문지 질문 간의 강력한 일치를 보였다.
• 모델은 도메인 간 일반화 능력을 보였으며, 한 이해관계자 유형(예: 주)의 텍스트를 다른 유형(예: 기업)의 설문지에 성공적으로 매핑하여 조직 유형 간 이식 가능성의 가능성을 시사했다.
• ClimaBench 벤치마크에서 일반 목적 모델이 기후 텍스트 분류 작업 전반에서 도메인 특화 모델인 ClimateBERT를 앞서는 성능을 보였으며, 도메인 특화 모델의 우월성에 대한 기존의 가정을 도전했다.
• 인간 평가 결과에서 주요 한계점이 드러났다: 더 구체적이고 관련성이 높은 질문들은 일반적인 질문들보다 랭킹이 낮게 평가되는 경향이 있었으며, 이는 향후 랭킹 재정렬 또는 모델 校정 개선이 필요함을 시사한다.
• 이 연구는 자율학습 모델을 활용해 비구조화된 기후 공개 자료를 구조화된 설문지로 자동 매핑하는 것이 가능함을 입증하였으며, 수작업을 크게 줄일 수 있음을 보여주었다.
• 저자들은 향후 기후 NLP 분야의 연구 및 모델 개발을 지원하기 위해 ClimaBench와 훈련된 모델(예: miniLM-cdp-all)을 공개하였다.