[論文レビュー] Evaluating approaches to identifying research supporting the United Nations Sustainable Development Goals

Yury Kashnitsky, Guillaume Roberge+13 more|arXiv (Cornell University)|Sep 15, 2022

Evaluation and Performance Assessment被引用数 8

ひとこと要約

本論文は、キーワードベースの照会と機械学習を組み合わせることで、リサーチ出版物を国連持続可能な開発目標（SDGs）にマッピングするための強化された手法を提示している。この手法は、再現性を高めつつ、正確性を80%以上に維持した上で、リcallを向上させる。Elsevierが開発し、Times Higher Educationがそのソーシャルインパactsランキングで採用したこのアプローチは、2020年版と比較して関連記事の数を2倍に増加させながらも、反復的改善と専門家による検証により正確性を確保している。

ABSTRACT

The United Nations (UN) Sustainable Development Goals (SDGs) challenge the global community to build a world where no one is left behind. Recognizing that research plays a fundamental part in supporting these goals, attempts have been made to classify research publications according to their relevance in supporting each of the UN's SDGs. In this paper, we outline the methodology that we followed when mapping research articles to SDGs and which is adopted by Times Higher Education in their Social Impact rankings. We compare our solution with other existing queries and models mapping research papers to SDGs. We also discuss various aspects in which the methodology can be improved and generalized to other types of content apart from research articles. The results presented in this paper are the outcome of the SDG Research Mapping Initiative that was established as a partnership between the University of Southern Denmark, the Aurora European Universities Alliance (represented by Vrije Universiteit Amsterdam), the University of Auckland, and Elsevier to bring together broad expertise and share best practices on identifying research contributions to UN's Sustainable Development Goals.

研究の動機と目的

• 国連持続可能な開発目標（SDGs）を支援する研究出版物をより包括的かつ正確に特定するための新しい手法を開発すること。
• 多義語の問題や低いリcallを抱える既存のブール型およびキーワードベースのアプローチの限界を是正すること。
• キュレートされたキーワード照会と機械学習を統合することで、SDG関連研究の検索を向上させること。
• 多様な研究分野やコンテンツタイプにわたるSDGマッピングの一般化可能性と再現可能性を向上させること。
• Times Higher Educationのソーシャルインパクトランキングで採用されている透明性がありスケーラブルな手法を提供することで、機関間のベンチマークや政策評価を支援すること。

提案手法

• 特定のSDGターゲットやインジケーターを標的とするサブクエリを含む階層的な照会構造を設計し、照会の明確さを高める。
• 全科学ジャーナル分類（All Science Journal Classification - ASJC）による分類を組み合わせたキーワードベースのブール検索式を適用し、曖昧さを低減する。
• ラベル付け済みSDGアノテーション付き出版物でトレーニングされた機械学習モデルを用い、正確性を損なわずにリcallを向上させる。
• 分野の専門家による反復的フィードバックと、既存のSDGマッピングイニシアチブとの整合性を確認することで、結果を検証する。
• キーワード照会とML分類の結果を統合し、最終的なSDG関連出版物の統合セットを生成する。
• 照会セットとモデルパラメータを公開することで、透明性と再現可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 キーワードベースの照会をどのように最適化すれば、SDG関連研究の特定におけるリcallと正確性を向上させられるか？
• RQ2 キーワード手法に比べ、機械学習を統合することで、SDGを支援する研究の特定にどの程度向上が見られるか？
• RQ3 キュレートされた照会とMLモデルを組み合わせたハイブリッドアプローチは、既存の手法と比較して、より高い正確性と広範なカバー範囲を達成できるか？
• RQ4 本手法は、リcall、正確性、スケーラビリティの観点から、他のSDGマッピング手法と比較してどのように異なるか？
• RQ5 本手法を研究コンテンツに限らない非研究コンテンツ（政策文書やレポートなど）に一般化するには、どのような改善が必要か？

主な発見

• Elsevierの2021年SDGマッピング手法は、平均して2020年版の2倍の関連研究記事を捉えながら、正確性を80%以上に維持している。
• 機械学習の統合により、明確なSDGキーワードを含まないが文脈的に関連する出版物のリcallが顕著に向上している。
• 分野分類（ASJC）とSDGターゲット・インジケーター向けのターゲット特化サブクエリの使用により、多義語の問題が軽減され、検索の正確性が向上している。
• 本手法は、Times Higher Educationがそのソーシャルインパクトランキングで採用しており、実世界での適用可能性と機関による承認を示している。
• 純粋なブール照会や単独の機械学習モデルに比べ、本手法は正確性とリcallの両立を効果的に実現している。
• 公開された照会セットとモデルパラメータのおかげで、再現性が確保され、機関や研究コミュニティにおける広範な採用が可能になっている。