[論文レビュー] Descriptions of SNSF-funded research projects

Dominik Meier, Rui Mata+1 more|arXiv (Cornell University)|Oct 12, 2021

Computational and Text Analysis Methods被引用数 5

ひとこと要約

この論文は、既存またはカスタムのクエリシステムを用いて、任意のテキストにおける国連持続可能な開発目標（SDGs）の検出を可能にするオープンソースのRパッケージ、text2sdgを紹介する。翻訳を用いた多言語テキスト処理をサポートし、高いラベル信頼性（ファイ係数 ≥0.88）を達成しており、tibbleとの使いやすい統合が可能で、大規模なテキストコーパスの処理にも効率的である。実行時間はシステムの複雑さに応じて変動し、1000万語の処理で最も速いのは約1分（Elsevier）、最も遅いのは約40分（SIRIS）である。

ABSTRACT

Monitoring progress on the United Nations Sustainable Development Goals (SDGs) is important for both academic and non-academic organizations. Existing approaches to monitoring SDGs have focused on specific data types; namely, publications listed in proprietary research databases. We present the text2sdg package for the R language, a user-friendly, open-source package that detects SDGs in any kind of text data using different existing or custom-made query systems. The text2sdg package thereby facilitates the monitoring of SDGs for a wide array of text sources and provides a much-needed basis for validating and improving extant methods to detect SDGs from text.

研究の動機と目的

• 学術論文以外の多様なテキストソースにおけるSDGsの監視に向けた、アクセス可能でオープンソースのツールが不足しているという問題に対処すること。
• 研究者や組織が標準的またはカスタムのクエリシステムを用いて、テキストデータにSDGsをラベル付けできるようにすること。
• 翻訳済みテキストにSDGラベルを適用した際の信頼性を評価すること、特に英語以外のコーパスにおいて。
• 大規模テキストコーパスを処理する際の、異なるSDGラベリングシステムの計算効率とパフォーマンスを評価すること。
• RにおけるSDG検出手法の統合とテストに柔軟で使いやすいフレームワークを提供すること。

提案手法

• 複数のSDGラベリングシステム（Elsevier, Aurora, SIRIS, SDSN, OSDG）を統一インターフェースでサポートするモジュラーRパッケージアーキテクチャを実装すること。
• ユーザーが、システム名、クエリ文字列、SDGターゲット、クエリIDのカラムを含むtibbleを用いて、カスタムラベリングシステムを定義できるようにすること。
• DeepLエンジンを用いた翻訳パイプラインを統合し、非英語テキストにおけるSDG検出を可能にし、バックトランスレーションによる検証を実施すること。
• 1ドキュメントあたり複数のクエリを適用するdetect_any関数を用い、関連する特徴量とクエリ識別子を含むSDGヒットを返すこと。
• クエリパターンの事前コンパイルとインデックス化により、ドキュメントごとの処理オーバーヘッドを低減するようにクエリ実行を最適化すること。
• 1,000〜10,000ドキュメントのサイズ、1万〜1,000万語の長さのシミュレーテッドテキストコーパスを用いてパフォーマンスをベンチマークし、7,000回の繰り返しにおける平均実行時間を測定すること。

実験結果

リサーチクエスチョン

• RQ1 バックトランスレーションによる検証を用いる場合、翻訳後の多言語テキストにおいてtext2sdgはSDGsを信頼性高く検出できるか？
• RQ2 大規模テキストコーパスを処理する際、異なるSDGラベリングシステム（例：Elsevier, SIRIS）の計算効率はどのように比較できるか？
• RQ3 カスタムクエリシステムは、Rベースの統合フレームワークにどれほど柔軟に統合できるか？
• RQ4 語数とドキュメント構造の変化が、異なるラベリングシステムにおけるSDG検出の実行時間にどのように影響するか？
• RQ5 text2sdgパッケージは、既存のSDG検出手法の検証および改善に向けたスケーラブルで拡張可能なプラットフォームとして機能できるか？

主な発見

• text2sdgパッケージは、英語および翻訳済みテキストの両方において正確なSDG検出を可能にし、元のラベルとバックトランスレーション済みラベルとの間に0.88以上のファイ係数相関が確認され、高い信頼性を示している。
• Elsevierシステムが最も速く、1000万語を約1分で処理したのに対し、SIRISシステムは同じ量を約40分かけて処理した。
• 実行時間は主に総語数に比例し、ドキュメントセットが大きくなるに従い、クエリ最適化とキャッシュのおかげで1語あたりのオーバーヘッドが低下する。
• tibble形式の入力を通じたカスタムクエリシステムのシームレスな統合をサポートしており、研究者が新しいまたはドメイン特化したSDG検出戦略をテストできる。
• パフォーマンスベンチマーク実験の結果、クエリの複雑さとシステム固有のオーバーヘッドが処理速度に顕著な影響を与えることが判明し、最も速いシステムは大規模応用においてより効率的であることが示された。
• DeepLを用いた翻訳は、ラベルの正確性を著しく低下させず、text2sdgが多様な組織的・学術的文脈における多言語SDGモニタリングに適していることが示唆された。