[논문 리뷰] Research Project: Text Engineering Tool for Ontological Scientometry

Rustam Tagiew|arXiv (Cornell University)|2015. 01. 01.

Semantic Web and Ontologies참고 문헌 9인용 수 2

한 줄 요약

이 논문은 자연어 처리와 옹오로지 기반 분류를 활용하여 과학 논문의 기여 유형을 분류하고 상호 관계를 추출하는 반자동 텍스트 엔지니어링 도구를 제안한다. 자동 클러스터링과 위키백과 유사 인터페이스를 통한 자원봉사자 기반 보정을 조합함으로써, 보조 자료를 포함한 연구 성과에 대한 확장 가능한 옹오로지 기반 과학지수학적 분석이 가능해지며, 이는 연구 탐색과 자금 지원 결정을 향상시킨다.

ABSTRACT

The number of scientific papers grows exponentially in many disciplines. The share of online available papers grows as well. At the same time, the period of time for a paper to loose at chance to be cited anymore shortens. The decay of the citing rate shows similarity to ultradiffusional processes as for other online contents in social networks. The distribution of papers per author shows similarity to the distribution of posts per user in social networks. The rate of uncited papers for online available papers grows while some papers 'go viral' in terms of being cited. Summarized, the practice of scientific publishing moves towards the domain of social networks. The goal of this project is to create a text engineering tool, which can semi-automatically categorize a paper according to its type of contribution and extract relationships between them into an ontological database. Semi-automatic categorization means that the mistakes made by automatic pre-categorization and relationship-extraction will be corrected through a wikipedia-like front-end by volunteers from general public. This tool should not only help researchers and the general public to find relevant supplementary material and peers faster, but also provide more information for research funding agencies.

연구 동기 및 목표

• 기존의 인용 지표를 초월해 실용적이고 재사용 가능한 구성 요소로의 과학 연구 성과 간 갈등을 해소하기 위해, 논문의 의미적 분류 체계를 구축한다.
• 데이터셋, 알고리즘, 실험 데이터와 같은 보조 자료가 과학지수학적 관행에서 부족하게 평가되는 한계를 극복한다.
• 확장 가능한 옹오로지 기반 지식 기반을 개발하여 논문에서 수행된 실용적 작업의 유형을 포괄적으로 기록함으로써, 연구 탐색 및 자금 배분의 향상을 도모한다.
• 자동화된 텍스트 클러스터링과 공개된 자원봉사자 기반 보정을 융합한 하이브리드 모델을 도입하여 지식 기반의 정확성과 유지보수성을 향상시킨다.
• 과학 데이터의 재사용을 촉진하기 위해 의미론적으로 자료를 구조화하고 해당 논문 및 연구 기여와 연결한다.

제안 방법

• 과학 논문과 보조 자료에서 텍스트를 추출하고 전처리하기 위해 pdftotext 및 ParsCit 등의 NLP 파이프라인을 활용한다.
• 주제나 인용 패턴이 아닌, 실천적 작업의 유형에 기반해 논문을 클러스터링하기 위해, 백오프워드 모델을 초월한 의미 분석을 활용한 클러스터링 알고리즘을 적용한다.
• 형식적 개념 분석과 의미 기반 기술을 사용하여, 논문, 그 기여, 보조 자료 간의 관계를 표현하기 위해 옹오로지 기반 데이터베이스를 구축한다.
• 공개된 자원봉사자가 자동 분류 및 관계 추출을 보정하고 보완할 수 있도록 위키백과 유사한 프론트엔드 인터페이스를 구현한다.
• 모델 평가를 위해 WEKA의 소스 코드 및 CiteseerX와 같은 기존 데이터셋을 활용해 레이블이 부여된 학습 클러스터(예: MLalgo, Labbehaviour)를 생성한다.
• 빅데이터 인프라를 활용해 최대 500만 건의 논문을 처리할 수 있도록 시스템을 스케일링하며, 성능 최적화를 위해 병렬 처리 및 GPU 가속을 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 과학 논문을 알고리즘 개발, 실험 데이터 수집, 이론적 모델링 등의 실용적 기여 유형으로 자동 분류할 수 있는가?
• RQ2 의미적 내용에 기반한 자동 텍스트 클러스터링이 주제 기반 또는 인용 기반 클러스터링보다 연구 기여의 진정한 성격을 얼마나 더 잘 포착할 수 있는가?
• RQ3 공동체 기반의 위키스타일 인터페이스가 대규모 개방형 과학 지식 기반에서 자동 분류를 효과적으로 보정하고 풍부화시킬 수 있는가?
• RQ4 과학 논문의 인용 감쇠 패턴과 소셜 미디어 콘텐츠의 유행성은 어떻게 비교될 수 있으며, 과학지수학 모델링에 어떤 함의를 갖는가?
• RQ5 데이터셋, 코드 등의 보조 자료를 과학지수학적 분석에 통합할 경우 어떤 영향을 미치며, 어떻게 체계적으로 연구 평가 프레임워크에 통합할 수 있는가?

주요 결과

• 과학 논문의 인용 감쇠율은 소셜 미디어에서 관찰되는 초확산 과정과 유사한 패턴을 보이며, 이는 과학적 영향력에 바이러스성 동역학이 점점 더 큰 영향을 미친다는 것을 시사한다.
• 한 명의 저자당 논문 수의 분포는 소셜 네트워크에서 한 명의 사용자당 게시물 수의 분포와 유사하며, 이는 과학적 영향력이 콘텐츠 품질 외에도 네트워크 효과와 가시성에 의해 점점 더 좌우된다는 것을 의미한다.
• 온라인으로 출판된 논문의 상당 부분은 인용되지 않은 채로 남아 있으며, 소수의 논문만이 높은 인용 수를 기록하고 있어, 온라인 콘텐츠의 유행성과 유사한 '긴 꼬리' 분포를 보이고 있다.
• 데이터셋, 알고리즘, 실험 데이터와 같은 보조 자료는 주로 논문 본문보다 과학적으로 더 가치가 있지만, 전통적인 과학지수학 평가에서 체계적으로 과소평가되고 있다.
• 과학 문서의 수동 코딩은 의미적 다양성과 예측 불가능성으로 인해 매우 주의 집중이 요구되며, 전문 분야 내 클러스터 내에서도 심지어 예측 불가능한 콘텐츠 변화로 인해 산만해지기 쉽다.
• pdftotext 및 ParsCit와 같은 도구의 통합은 특히 요약 분류에 있어 노이즈가 많은 결과를 낳으며, 신뢰할 수 있는 결과를 얻기 위해 더 깊은 문서 분석과 인간이 개입하는 검증이 필요하다.