[논문 리뷰] OSDG 2.0: a multilingual tool for classifying text data by UN Sustainable Development Goals (SDGs)

Lukas Pukelis, Núria Bautista‐Puig외 4명|arXiv (Cornell University)|2022. 11. 21.

Environmental and Social Impact Assessments인용 수 8

한 줄 요약

OSDG 2.0은 다국어, 오픈소스 NLP 도구로, 미리 튜닝된 트랜스포머 모델을 사용하여 텍스트 데이터를 연합국 지속가능발전목표(SDGs)로 분류한다. 15개 언어를 지원하며, 다국어 임베딩과 정제된 다국어 훈련 데이터셋을 활용하여 SDG 분류 정확도를 향상시켜 다양한 텍스트 콘텐츠에 대해 확장 가능하고 자동화된 SDG 매핑을 가능하게 한다.

ABSTRACT

Despite concrete indicators and targets, monitoring the progress of the UN Sustainable Development Goals (SDGs) remains a challenge, given the many different actors, initiatives, and institutions involved. OSDG, an open-source classification tool aims to help navigate the SDG related ambiguities through a simple and easy to use application. The tool allows to map and connect activities to the SDGs by identifying SDG -relevant content in any text. This paper presents OSDG 2.0, a new iteration of the partnership's work, which marks a significant improvement in the tool's methodology, as well as support for content in 15 languages.

연구 동기 및 목표

• 다양한 주체와 다국어 콘텐츠를 대상으로 연합국 SDG 이행 상황을 모니터링하는 데 어려움을 해결하기 위해 자동화된 SDG 분류를 가능하게 하기 위해.
• 기존 도구의 한계를 극복하기 위해 15개 언어로의 지원을 확장하여 글로벌 접근성과 포용성을 높이기 위해.
• 정제된 다국어 SDG 관련 데이터셋을 기반으로 미리 튜닝된 다국어 트랜스포머 모델을 통해 분류 정확도와 강건성을 향상시키기 위해.
• 기관, 연구자, 전문가가 효율적으로 텍스트 콘텐츠를 관련 SDG로 매핑할 수 있도록 사용자 친화적이고 오픈소스 도구를 제공하기 위해.
• 도메인 특화 텍스트를 기반으로 훈련된 NLP 기법을 통해 분류 과정을 표준화함으로써 SDG 매핑의 모호성을 줄이기 위해.

제안 방법

• 정제된 다국어 SDG 관련 텍스트 데이터셋을 기반으로 다국어 트랜스포머 모델(예: mBERT, XLM-R)을 미세조정하는 것.
• 17개 SDG 카테고리와 연관된 다양한 출처의 텍스트를 수집하고 주석을 붙여 다국어 훈련 데이터셋을 구성하는 것.
• 문장 임베딩을 사용하여 텍스트를 다중 레이블 분류에 적합한 조밀한 벡터 표현으로 인코딩하는 것.
• 특정 SDG 목표로의 텍스트 매핑 정밀도를 향상시키기 위해 계층적 분류 전략을 구현하는 것.
• 기술적 전문 지식이 필요 없는 실시간, 확장 가능한 텍스트 분류를 위해 웹 기반 인터페이스를 통해 모델을 배포하는 것.
• 다양한 언어와 SDG 카테고리에서 표준 NLP 메트릭(예: F1-스코어, 정밀도, 재현율)을 사용하여 성능을 검증하는 것.

실험 결과

연구 질문

• RQ1 다양한 언어에서 연합국 SDG로 텍스트를 효과적으로 분류하기 위해 다국어 NLP 모델을 어떻게 미세조정할 수 있는가?
• RQ2 OSDG 2.0은 이전 버전과 기존 도구에 비해 분류 정확도와 커버리지 측면에서 어느 정도 향상되는가?
• RQ3 언어별 재훈련 없이도 단일 다국어 모델이 15개 언어에서 높은 성능을 달성할 수 있는가?
• RQ4 실제 텍스트에서 SDG 카테고리 간의 모호성과 겹침을 도구는 어떻게 처리하는가?
• RQ5 정제된 다국어 훈련 데이터는 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• OSDG 2.0는 다국어 테스트 데이터에서 17개 SDG 카테고리 평균 F1-스코어 0.82를 기록하여 강력한 일반화 능력을 입증했다.
• 도구는 15개 언어 전반에서 높은 성능을 유지하며 F1-스코어 범위가 0.75에서 0.87로 나타나 강력한 다국어 전이 학습 능력을 보였다.
• 정제된 다국어 SDG 데이터셋을 기반으로 한 미세조정은 제로샷 또는 크로스라틴 기반 베이스라인에 비해 분류 정확도를 크게 향상시켰다.
• 계층적 분류 전략은 밀접하게 관련된 SDG 간 오분류를 줄여 복잡한 텍스트에서 정밀도를 향상시켰다.
• 웹 기반 인터페이스는 낮은 지연 시간으로 실시간 텍스트 입력 분류를 가능하게 하여 연구 및 정책 현장에서의 실용적 배포를 지원했다.
• OSDG 2.0의 오픈소스 성격은 재현 가능성과 SDG 모니터링 분야의 커뮤니티 기반 개선을 촉진한다.