[논문 리뷰] Evaluating approaches to identifying research supporting the United Nations Sustainable Development Goals

Yury Kashnitsky, Guillaume Roberge외 13명|arXiv (Cornell University)|2022. 09. 15.

Evaluation and Performance Assessment인용 수 8

한 줄 요약

이 논문은 연합국 지속 가능한 발전 목표(SDGs)에 연구 출판물을 매핑하기 위한 향상된 방법론을 제시한다. 키워드 기반 쿼리와 기계학습을 조합하여 재현율을 향상시키면서도 정밀도를 80% 이상 유지한다. 이 방법론은 엘리비어(Elsevier)에서 개발하였으며, 타임스 하이어러 어드류케이션의 사회적 영향 평가 순위에서 채택되었다. 기존 방법보다 2배 이상의 관련 논문을 포착하면서도 정확도를 확보하기 위해 반복적인 개선과 전문가 검증을 통해 성능을 끌어올렸다.

ABSTRACT

The United Nations (UN) Sustainable Development Goals (SDGs) challenge the global community to build a world where no one is left behind. Recognizing that research plays a fundamental part in supporting these goals, attempts have been made to classify research publications according to their relevance in supporting each of the UN's SDGs. In this paper, we outline the methodology that we followed when mapping research articles to SDGs and which is adopted by Times Higher Education in their Social Impact rankings. We compare our solution with other existing queries and models mapping research papers to SDGs. We also discuss various aspects in which the methodology can be improved and generalized to other types of content apart from research articles. The results presented in this paper are the outcome of the SDG Research Mapping Initiative that was established as a partnership between the University of Southern Denmark, the Aurora European Universities Alliance (represented by Vrije Universiteit Amsterdam), the University of Auckland, and Elsevier to bring together broad expertise and share best practices on identifying research contributions to UN's Sustainable Development Goals.

연구 동기 및 목표

• 유엔 지속 가능한 발전 목표(SDGs)를 뒷받침하는 연구 출판물을 식별하기 위한 보다 종합적이고 정확한 방법을 개발하기.
• 다의어성과 낮은 재현율 등의 문제를 야기하는 기존 부울 및 키워드 기반 접근법의 한계를 해결하기.
• 정제된 키워드 쿼리와 기계학습을 융합하여 관련 SDG 연구의 검색 능력을 향상시키기.
• 다양한 연구 분야와 콘텐츠 유형에 걸쳐 SDG 매핑의 일반화 및 재현 가능성을 향상시키기.
• 타임스 하이어러 어드류케이션의 사회적 영향 평가 순위에서 채택된 투명하고 확장 가능한 방법론을 제공함으로써 기관 간 비교 및 정책 평가를 지원하기.

제안 방법

• 구체성을 높이기 위해 특정 SDG 목표 및 지표를 대상으로 하는 하위 쿼리가 포함된 계층적 쿼리 구조를 설계하기.
• 모호성을 줄이기 위해 과학저널분류체계(All Science Journal Classification - ASJC)를 통합한 키워드 기반 부울 검색 표현식 적용하기.
• 라벨링된 SDG-주석이 부여된 출판물로 훈련된 기계학습 모델을 사용하여 정밀도를 희생시키지 않은 채 재현율을 향상시키기.
• 분야 전문가의 반복적 피드백과 기존 SDG 매핑 이니셔티브와의 일치를 통해 결과를 검증하기.
• 키워드 쿼리와 ML 분류 결과를 융합하여 최종적으로 통합된 SDG 관련 출판물 세트를 생성하기.
• 공개된 쿼리 세트와 모델 파rameter를 통해 투명성과 재현 가능성을 확보하기.

실험 결과

연구 질문

• RQ1 키워드 기반 쿼리는 어떻게 최적화되어야 하며, SDG 관련 연구 식별의 재현율과 정밀도를 향상시킬 수 있는가?
• RQ2 순수한 키워드 기반 방법에 비해 기계학습을 통합할 경우, 지속 가능한 발전 목표를 뒷받침하는 연구 식별 능력은 어느 정도 향상되는가?
• RQ3 정제된 쿼리와 기계학습 모델을 융합한 하이브리드 접근법은 기존의 방법보다 더 높은 정확도와 더 넓은 커버리지 달성 가능성이 있는가?
• RQ4 재현율, 정밀도 및 확장성 측면에서 제안된 방법론은 다른 SDG 매핑 접근법과 어떻게 비교되는가?
• RQ5 정책 문서나 보고서와 같은 비연구 콘텐츠로의 일반화를 위해 이 방법론에 어떤 개선이 필요한가?

주요 결과

• 엘리비어의 2021년 SDG 매핑 방법론은 평균적으로 2020년 버전보다 두 배 이상의 관련 연구 논문을 포착하면서도 정밀도를 80% 이상 유지한다.
• 기계학습의 통합은 특히 명시적인 SDG 키워드를 포함하지 않지만 맥락적으로 관련성이 있는 논문의 재현율을 크게 향상시킨다.
• 주제 분류(ASJC)와 SDG 목표 및 지표를 위한 타겟팅된 하위 쿼리의 사용은 다의어성을 줄이고 검색 정확도를 향상시킨다.
• 이 방법론은 타임스 하이어러 어드류케이션의 사회적 영향 평가 순위에서 채택되어 실제 적용 가능성과 기관적 검증을 입증했다.
• 순수 부울 쿼리나 독립적인 기계학습 모델보다 정밀도와 재현율을 효과적으로 균형 잡는 데 성공하여 이전 방법보다 뛰어난 성능을 보였다.
• 공개된 쿼리 세트와 모델 파rameter 덕분에 재현 가능성이 보장되며, 기관 및 연구 공동체 전반에서의 광범위한 도입을 지원한다.