[論文レビュー] Environmental Claim Detection

Dominik Stammbach, Nicolas Webersinke+3 more|arXiv (Cornell University)|Sep 1, 2022

Sentiment Analysis and Opinion Mining被引用数 2

ひとこと要約

本論文は、企業のコミュニケーションにおける持続可能性関連の主張を特定する新しいNLPタスクとして、環境的主張検出を導入する。著者らは、四半期決算会議に含まれる2,647文の手作業アノテート済みデータセットを公開し、高い精度で環境的主張を検出するモデルを訓練した。その結果、2015年のパリ協定以降、こうした主張の数が安定して増加していることが明らかになった。

ABSTRACT

To transition to a green economy, environmental claims made by companies must be reliable, comparable, and verifiable. To analyze such claims at scale, automated methods are needed to detect them in the first place. However, there exist no datasets or models for this. Thus, this paper introduces the task of environmental claim detection. To accompany the task, we release an expert-annotated dataset and models trained on this dataset. We preview one potential application of such models: We detect environmental claims made in quarterly earning calls and find that the number of environmental claims has steadily increased since the Paris Agreement in 2015.

研究の動機と目的

• 企業のコミュニケーションにおける環境的主張を検出するためのデータセットとモデルの不足に対処すること。
• 自動的な監視を可能にすることで、グリーン経済への移行を支援すること。
• まず大規模に環境的主張を特定することで、将来的な自動グリーンウォッシング検出の基盤を築くこと。
• 研究者および実務家が利用可能な公開データセットと訓練済みモデルを提供すること。
• 実世界の決算会議データを用いた自動主張検出の実現可能性と実用性を示すこと。

提案手法

• 環境的主張検出を文単位の二値分類タスク（主張 vs. 非主張）として定義する。
• 専門家による合意ラベルを用いて、四半期決算会議から2,647文を収集・アノテートする。
• アノテート済みデータセットで微調整したBERTベースのモデルを用いて主張検出を行う。
• 汎化性と頑健性を評価するために、ゼロショットおよびフェイントショットのプロンプティング手法を適用する。
• GitHubおよびHugging Faceにデータセット、コード、モデルを公開して、一般へのアクセスを可能にする。
• アブレーションスタディを実施し、開発およびテスト分割で標準指標を用いてモデルのパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 NLPを用いて、企業の決算会議における環境的主張を信頼性高く検出できるか？
• RQ2 モデルのパフォーマンスは、異なる主張タイプや言語的パターンによってどのように変化するか？
• RQ3 既存の主張および約束検出モデルは、環境的主張に対してどの程度一般化できるか？
• RQ4 企業のコミュニケーションにおける環境的主張の頻度は、時間経過とともに増加しているか？
• RQ5 主張が信頼性高く検出された段階で、自動グリーンウォッシング検出の可能性はどの程度あるか？

主な発見

• 提案された環境的主張検出モデルは、新しく公開された専門家がアノテート済みの2,647文のデータセットにおいて高いパフォーマンスを達成した。
• 四半期決算会議における環境的主張の数は、2015年のパリ協定以降、安定的に増加している。
• 既存の主張および約束検出モデルは、この新しいタスクに対して低い性能を示しており、専用のデータセットとアプローチの必要性が示された。
• データセットはGitHubおよびHugging Faceを通じて公開されており、再現性と今後の研究を可能にしている。
• 最終モデルの学習には5分未満で完了し、すべての実験における総エネルギー消費量は1.6 kg CO2eqであり、1サンプルあたりの推論消費エネルギーは0.0067 mg CO2eqと低かった。
• 本研究は、誤解を招く、曖昧な、または事実と異なる環境的主張の自動検出を今後のための基盤とし、規制当局および一般の監視を支援する。