[論文レビュー] Using novel data and ensemble models to improve automated labeling of Sustainable Development Goals

Dirk U. Wulff, Dominik Meier+1 more|arXiv (Cornell University)|Jan 25, 2023

Data-Driven Disease Surveillance被引用数 8

ひとこと要約

この論文は7つのSDGラベリングシステムを比較し、偏りと偽陽性を明らかにし、text2sdgを用いたアンサンブルモデルがデータセット全体で個別システムを上回ることを示している。

ABSTRACT

A number of labeling systems based on text have been proposed to help monitor work on the United Nations (UN) Sustainable Development Goals (SDGs). Here, we present a systematic comparison of systems using a variety of text sources and show that systems differ considerably in their specificity (i.e., true-positive rate) and sensitivity (i.e., true-negative rate), have systematic biases (e.g., are more sensitive to specific SDGs relative to others), and are susceptible to the type and amount of text analyzed. We then show that an ensemble model that pools labeling systems alleviates some of these limitations, exceeding the labeling performance of all currently available systems. We conclude that researchers and policymakers should care about the choice of labeling system and that ensemble methods should be favored when drawing conclusions about the absolute and relative prevalence of work on the SDGs based on automated methods.

研究の動機と目的

• 複数のテキストソースと指標にわたって、既存のSDGラベリングシステムの性能を評価する。
• SDG固有のバイアスと偽陽性傾向を特定する。
• テキストの種類と長さに応じたラベリング性能の変化を評価する。
• アンサンブルモデルが単一システムの限界を克服できるかを示す。

提案手法

• text2sdgで実装された7つのSDGラベリングシステムをレビューする（Aurora、Elsevier、SIRIS、Auckland、SDGO、SDSN、OSDG.ai）。
• 3つの専門家ラベル付けデータセット（タイトル、要約、ニュース）と追加のラベルなし/合成データを用い、感度、特異度、正確度、F1などの指標で性能を評価する。
• 予測SDGと観測SDGの頻度を比較し、データセット間のバイアスプロファイルを相関分析してSDG固有のバイアスを分析する。
• 長い非SDGテキストソースや長さの異なる合成テキストを用いて偽陽性耐性を検証する。
• システムの予測と文書長を特徴として組み合わせたランダムフォレストとXGBoostのアンサンブルモデルを開発・評価する。
• 専門家ラベルデータと合成データでアンサンブルを学習させ、偽陽性を抑制する；個別システムと比較する。

実験結果

リサーチクエスチョン

• RQ1 既存のSDGラベリングシステムは、テキストタイプごとに感度と特異度がどのように異なるのか。
• RQ2 専門家の判断と比較して、ラベリングシステムはどのようなSDG固有のバイアスを示すのか。
• RQ3 アンサンブルモデルは個別ラベリングシステムの制限とバイアスを緩和できるのか。
• RQ4 非SDGテキストや異なる文書長に直面した場合、アンサンブルモデルは性能を維持できるのか。

主な発見

• ラベリングシステムは感度–特異度のトレードオフとデータセット別性能に大きな違いがある。
• システムはSDG固有のバイアスを示し、専門家プロファイルと比較して特定のSDGを過少または過剰表現する。
• 長文または非SDGテキストソースでは偽陽性が多く、保守性は偽陽性傾向と相関する。
• アンサンブルモデルは個別システムと比較して平均的な外部データでの正確度を大幅に向上させ、バイアスを低減する；文書長を特徴として含めると性能が向上する。
• このアンサンブル手法はタイトル、要約、ニュースデータセットのいずれでも競争力のある正確度を示し、リベラルと保守の傾向をバランスさせるのに役立つ。