[논문 리뷰] Librarian-in-the-Loop: A Natural Language Processing Paradigm for Detecting Informal Mentions of Research Data in Academic Literature

Lizhou Fan, Sara Lafia외 4명|arXiv (Cornell University)|2022. 03. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 학술 문헌에서 연구 데이터셋에 대한 비공식적 언급을 탐지하기 위해 라이브러리안이 개입하는 자연어 처리(NLP) 파라다임을 제안한다. 반복적인 인간 주석과 기계 학습을 융합하여 데이터셋 이름에 대한 명명된 개체 인식(ner) 성능을 향상시킨다. 이 접근법은 ICPSR 라이브러리안의 전문 지식을 활용해 고품질의 학습 데이터를 생성함으로써, 도메인 특화된 강력한 NLP 모델을 구축한다. 이는 데이터 인용 발견을 향상시키고 종합적인 연구 데이터 영향도 측정 지표를 지원한다.

ABSTRACT

Data citations provide a foundation for studying research data impact. Collecting and managing data citations is a new frontier in archival science and scholarly communication. However, the discovery and curation of research data citations is labor intensive. Data citations that reference unique identifiers (i.e. DOIs) are readily findable; however, informal mentions made to research data are more challenging to infer. We propose a natural language processing (NLP) paradigm to support the human task of identifying informal mentions made to research datasets. The work of discovering informal data mentions is currently performed by librarians and their staff in the Inter-university Consortium for Political and Social Research (ICPSR), a large social science data archive that maintains a large bibliography of data-related literature. The NLP model is bootstrapped from data citations actively collected by librarians at ICPSR. The model combines pattern matching with multiple iterations of human annotations to learn additional rules for detecting informal data mentions. These examples are then used to train an NLP pipeline. The librarian-in-the-loop paradigm is centered in the data work performed by ICPSR librarians, supporting broader efforts to build a more comprehensive bibliography of data-related literature that reflects the scholarly communities of research data users.

연구 동기 및 목표

• 지속적 식별자가 없는 경우에도 학술 문헌에서 연구 데이터셋에 대한 비공식적 언급을 식별하는 데 도전하는 문제를 해결한다.
• 공식적인 인용 시스템에서 간과되기 쉬운 데이터 인용 문헌의 수작업 코딩 부담을 줄이기 위해 비공식적 데이터 참조를 자동으로 탐지한다.
• 지속적 식별자가 있는 공식적인 데이터 인용 외에도 언급된 내용을 포괄함으로써 ICPSR 데이터 관련 문헌 목록의 포괄성을 높인다.
• 도메인 전문 지식과 기계 학습을 융합한 반복적 인간-기계 개입 NLP 파이프라인을 개발하여 데이터셋 언급 탐지 성능을 향상시킨다.
• 학술 문헌 전반에서 데이터 재사용을 더 넓게 발견할 수 있도록 해, 더 정확한 연구 데이터 영향도 측정 지표 개발을 지원한다.

제안 방법

• 정규 표현식과 키워드 패턴을 기반으로 세 단계의 문장 추출 방법(HIGH, MID, LOW)을 사용하여 잠재적인 데이터셋 언급을 포함하는 후보 문장을 식별한다.
• Prodigy를 사용한 반복적 NER 주석을 적용하며, 세 가지 주석 모드를 사용한다: ner.manual(초기 레이블링), ner.correct(오류 수정), ner.teach(모델 예측의 이진 수락/기각).
• 라이브러리안의 전문 지식을 활용해 NER 레이블(DATASET 스파니)과 규칙 기반 패턴을 반복적으로 개선함으로써 모델의 일반화 능력과 정확도를 향상시킨다.
• 누적된 인간 주석 데이터를 기반으로 기계 학습 기반 NER 모델을 훈련하며, 라이브러리안의 도메인 지식을 피드백 루프에서 활용해 모델을 부트스트랩하고 개선한다.
• 예: 'American National Election Survey', 'ANES'와 같은 패턴 기반 탐지 기법을 학습된 NER와 융합하여 데이터셋 이름과 약어를 탐지하는 정밀도를 향상시킨다.
• 최종적으로 생성된 고품질의 도메인 특화 데이터셋은 향후 학술 커뮤니케이션 및 과학 연구 과학 연구 분야의 NLP 연구를 위한 기준 데이터로 활용된다.

실험 결과

연구 질문

• RQ1 지속적 식별자가 없는 경우 학술 문헌에서 연구 데이터셋에 대한 비공식적 언급을 체계적으로 탐지하는 방법은 무엇인가?
• RQ2 반복적으로 통합된 라이브러리안의 전문 지식이 순수 자동화 방법에 비해 데이터셋 언급 탐지 성능을 얼마나 향상시킬 수 있는가?
• RQ3 규칙 기반 패턴 매칭과 인간-기계 개입 NER 주석을 융합했을 때 모델 성능과 주석 효율성에 어떤 영향을 미치는가?
• RQ4 라이브러리안이 개입하는 워크플로우가 학술 텍스트에서 데이터셋 언급을 탐지하기 위한 고품질로 재사용 가능한 NLP 학습 데이터셋을 생성할 수 있는가?
• RQ5 이 방법론은 사회과학 연구 공동체 전반에서 더 포괄적인 연구 데이터 영향도 측정 지표 개발을 어떻게 지원하는가?

주요 결과

• 라이브러리안이 개입하는 NLP 파라다임은 인간의 전문 지식과 반복적 모델 훈련을 융합함으로써 비공식적 데이터셋 언급 탐지 성능을 크게 향상시킨다.
• Prodigy에서 사용된 반복적 주석(ner.manual, ner.correct, ner.teach) 방식은 복잡하거나 모호한 맥락에서도 효율적이고 정확한 데이터셋 이름 스팬 주석을 가능하게 한다.
• 모델은 데이터셋 언급 탐지에 있어 높은 정밀도를 달성하여 라이브러리안이 고신뢰도 후보자들에 집중할 수 있도록 하며, 전반적인 수작업 스크리닝의 부담을 줄인다.
• 최종적으로 생성된 NER 모델과 주석된 데이터셋은 향후 복잡한 사회과학 연구 및 학술 커뮤니케이션 분야의 연구를 위한 고품질 기준 데이터로 기능한다.
• 이 방법론은 ICPSR 문헌 목록을 공식적인 데이터 인용 외의 다양한 데이터 재사용 참조를 포함하도록 확장함으로써 데이터 영향도 측정 지표의 포괄성을 높인다.
• 워크플로우는 확장 가능하고 유연하게 적용 가능하여 자원이 제한된 기관, 특히 사회과학 데이터 아카이브에서 지속 가능한 데이터 코딩 모델을 제공한다.