[논문 리뷰] Descriptions of SNSF-funded research projects

Dominik Meier, Rui Mata외 1명|arXiv (Cornell University)|2021. 10. 12.

Computational and Text Analysis Methods인용 수 5

한 줄 요약

이 논문은 기존 또는 사용자 정의 쿼리 시스템을 사용하여 어떤 텍스트에서라도 연합국 지속가능발전목표(SDGs)를 탐지할 수 있도록 하는 오픈소스 R 패키지인 text2sdg를 소개한다. 번역을 통한 多국어 텍스트 처리를 지원하며, 높은 레이블 신뢰도(피어슨-phi 계수 ≥0.88)를 확보하고, tibble와의 사용자 우아한 통합을 제공하며, 대규모 텍스트 코퍼스를 효율적으로 처리한다. 런타임은 시스템 복잡도에 따라 달라지며, 1000만 단어 기준으로 가장 빠른 Elsevier 시스템은 약 1분, 가장 느린 SIRIS 시스템은 약 40분이 소요된다.

ABSTRACT

Monitoring progress on the United Nations Sustainable Development Goals (SDGs) is important for both academic and non-academic organizations. Existing approaches to monitoring SDGs have focused on specific data types; namely, publications listed in proprietary research databases. We present the text2sdg package for the R language, a user-friendly, open-source package that detects SDGs in any kind of text data using different existing or custom-made query systems. The text2sdg package thereby facilitates the monitoring of SDGs for a wide array of text sources and provides a much-needed basis for validating and improving extant methods to detect SDGs from text.

연구 동기 및 목표

• 학술 논문 외 다양한 텍스트 자료에서 SDG 모니터링을 위한 접근 가능하고 오픈소스 도구의 부족을 해소하기 위해.
• 연구자와 조직이 표준화된 또는 사용자 정의 쿼리 시스템을 사용하여 텍스트 데이터를 SDG로 레이블링할 수 있도록 하기 위해.
• 특히 비영어어 문장에 적용된 번역된 텍스트에 대한 SDG 레이블링의 신뢰도를 평가하기 위해.
• 대규모 텍스트 코퍼스를 처리할 때 다양한 SDG 레이블링 시스템의 계산 효율성과 성능을 평가하기 위해.
• R 기반에서 SDG 탐지 방법을 통합하고 테스트할 수 있는 유연하고 사용자 友好的한 프레임워크를 제공하기 위해.

제안 방법

• 다양한 SDG 레이블링 시스템(Elsevier, Aurora, SIRIS, SDSN, OSDG)을 통합 인터페이스를 통해 지원하는 모듈식 R 패키지 아키텍처를 구현하기 위해.
• 사용자가 시스템 이름, 쿼리 문자열, SDG 목표, 쿼리 ID 컬럼을 포함한 tibble를 사용하여 사용자 정의 레이블링 시스템을 정의할 수 있도록 허용하기 위해.
• DeepL 엔진을 통한 번역 파이프라인 통합을 통해 비영어 텍스트에서의 SDG 탐지 기능을 제공하고, 역번역을 통한 검증을 수행하기 위해.
• detect_any 함수를 사용해 문서당 다수의 쿼리를 적용하고, 관련 특성 및 쿼리 식별자와 함께 SDG 히트를 반환하기 위해.
• 쿼리 패턴을 사전 컴iles 및 인덱싱하여 문서당 처리 오버헤드를 줄이기 위해 쿼리 실행을 최적화하기 위해.
• 시뮬레이션된 텍스트 코퍼스(1,000~10,000건의 문서, 1만~1,000만 단어)를 사용해 성능을 벤치마킹하고, 7,000회의 반복 동안 평균 런타임을 측정하기 위해.

실험 결과

연구 질문

• RQ1 역번역을 통한 검증을 통해 번역 후에도 text2sdg가 다국어 텍스트에서 SDG를 신뢰성 있게 탐지할 수 있는가?
• RQ2 대규모 텍스트 코퍼스를 처리할 때, 다양한 SDG 레이블링 시스템(예: Elsevier, SIRIS) 간 계산 효율성은 어떻게 비교되는가?
• RQ3 사용자 정의 쿼리 시스템이 R 기반 유일한 프레임워크에 얼마나 민첩하게 통합될 수 있는가?
• RQ4 단어 수와 문서 구조의 변화가 다양한 레이블링 시스템에서 SDG 탐지의 런타임에 어떤 영향을 미치는가?
• RQ5 text2sdg 패키지가 기존 SDG 탐지 방법을 검증하고 향상시키기 위한 확장 가능하고 스케일러블 플랫폼으로 기능할 수 있는가?

주요 결과

• text2sdg 패키지는 영어 및 번역된 텍스트 모두에서 정확한 SDG 탐지를 가능하게 하며, 원본 레이블과 역번역된 레이블 간 피어슨-phi 계수 상관계수가 0.88 이상으로 나타나 높은 신뢰도를 보였다.
• 가장 빠른 Elsevier 시스템은 1,000만 단어를 약 1분 만에 처리했고, 가장 느린 SIRIS 시스템은 동일한 양의 텍스트를 약 40분이 소요되었다.
• 런타임은 주로 총 단어 수에 비례하며, 쿼리 최적화 및 캐싱 덕분에 문서 집합이 커질수록 단어당 오버헤드가 감소한다.
• tibble 형식의 입력을 통해 사용자 정의 쿼리 시스템을 간편하게 통합할 수 있어, 연구자들이 새로운 또는 영역 특화된 SDG 탐지 전략을 테스트할 수 있다.
• 성능 벤치마킹 실험 결과, 쿼리 복잡도와 시스템 고유의 오버헤드가 처리 속도에 상당한 영향을 미치며, 가장 빠른 시스템은 대규모 응용에 더 효율적임을 확인했다.
• DeepL을 통한 번역 사용이 레이블 정확도를 크게 떨어뜨리지 않아, text2sdg가 다양한 조직 및 학술 환경에서 다국어 SDG 모니터링에 적합함을 시사한다.