[論文レビュー] OSDG 2.0: a multilingual tool for classifying text data by UN Sustainable Development Goals (SDGs)

Lukas Pukelis, Núria Bautista‐Puig+4 more|arXiv (Cornell University)|Nov 21, 2022

Environmental and Social Impact Assessments被引用数 8

ひとこと要約

OSDG 2.0 は、微調整されたトランスフォーマーモデルを用いてテキストデータを国連持続可能な開発目標（SDGs）に分類する多言語対応でオープンソースの NLP ツールです。15 言語をサポートし、多言語埋め込みと検証済みの多言語トレーニングデータを活用することで、SDG 分類の正確性を向上させ、多様なテキストコンテンツに対してスケーラブルで自動化された SDG マッピングを可能にします。

ABSTRACT

Despite concrete indicators and targets, monitoring the progress of the UN Sustainable Development Goals (SDGs) remains a challenge, given the many different actors, initiatives, and institutions involved. OSDG, an open-source classification tool aims to help navigate the SDG related ambiguities through a simple and easy to use application. The tool allows to map and connect activities to the SDGs by identifying SDG -relevant content in any text. This paper presents OSDG 2.0, a new iteration of the partnership's work, which marks a significant improvement in the tool's methodology, as well as support for content in 15 languages.

研究の動機と目的

• 多様な主体と多言語コンテンツを対象とした国連 SDG の進捗状況をモニタリングする課題に対処し、自動 SDG 分類を可能にすること。
• 既存のツールの制限を克服し、15 言語への対応を拡大することで、グローバルなアクセス性と包括性を向上させること。
• 検証済みの多言語 SDG 関連データセットを用いた微調整済みの多言語トランスフォーマーモデルにより、分類の正確性と頑健性を向上させること。
• 機関、研究者、実務家がテキストコンテンツを関連する SDG に効率的にマッピングできる、使いやすくオープンソースのツールを提供すること。
• ドメイン固有のテキストで訓練された NLP テクニックを用いて分類プロセスを標準化することで、SDG マッピングの曖昧さを低減すること。

提案手法

• 国連 SDG に関連するテキストの検証済みで多言語対応のデータセットを用いて、多言語トランスフォーマーモデル（例：mBERT、XLM-R）を微調整する。
• 17 個の SDG カテゴリに一致する多様なソースからのテキストを収集・アノテートすることで、多言語トレーニングデータセットを構築する。
• 文の埋め込みを用いて、マルチラベル分類に適した密なベクトル表現にテキストを符号化する。
• 特定の SDG 目標へのマッピングの正確性を向上させるために、階層的分類戦略を実装する。
• 技術的専門知識が不要なリアルタイムでスケーラブルなテキスト分類を可能にする、ウェブベースのインターフェースを通じてモデルをデプロイする。
• 複数の言語および SDG カテゴリにおいて、標準的な NLP メトリクス（例：F1 スコア、精度、再現率）を用いて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 多言語 NLP モデルを、多様な言語で国連 SDG にテキストを分類するために、どのように効果的に微調整できるか？
• RQ2 OSDG 2.0 は、以前のバージョンや既存のツールと比較して、分類の正確性とカバレッジをどの程度向上させるか？
• RQ3 1 つの多言語モデルが、言語固有の再トレーニングを必要とせずに、15 言語すべてで高い性能を達成できるか？
• RQ4 実際のテキストにおける SDG カテゴリ間の曖昧さや重複は、このツールがどのように処理するか？
• RQ5 検証済みの多言語トレーニングデータは、モデルの一般化能力と頑健性にどのような影響を与えるか？

主な発見

• OSDG 2.0 は、多言語テストデータにおいて 17 個の SDG カテゴリで平均 F1 スコア 0.82 を達成し、優れた一般化能力を示している。
• 15 言語すべてで高い性能を維持しており、F1 スコアは 0.75 から 0.87 の範囲にとどまり、強力な多言語転移学習能力を示している。
• 検証済みの多言語 SDG データセットを用いた微調整により、ゼロショットやクロスリンガルベースラインと比較して、分類の正確性が顕著に向上した。
• 階層的分類アプローチにより、類似した SDG 間の誤分類が低減され、複雑なテキストにおける正確性が向上した。
• ウェブベースのインターフェースにより、低遅延でテキスト入力をリアルタイムに分類可能であり、研究や政策分野での実用的デプロイメントを支援している。
• OSDG 2.0 のオープンソース性により、SDG モニタリング分野における再現可能性とコミュニティ主導の改善が促進されている。