[논문 리뷰] Hierarchical Classification of Research Fields in the "Web of Science" Using Deep Learning

Susie Xi Rao, Peter Egger외 1명|arXiv (Cornell University)|2023. 02. 01.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 Microsoft Academic Graph의 학술 논문을 초록을 기반으로 산문, 분야, 하위분야로 구성된 3단계 계층 분류 체계에 자동으로 할당하는 딥러닝 기반 계층 분류 시스템을 제안한다. 이 시스템은 CNN, RNN, 트랜스포머를 포함한 미세조정된 신경망을 1억 6,000만 개의 초록에 적용하여 단일 레이블 기준 77.13%, 다중 레이블 기준 78.19%의 분류에서 90% 이상의 정확도를 달성하며, 확장 가능하고 다중 레이블이며 다학문적 연구 분류를 가능하게 한다.

ABSTRACT

This paper presents a hierarchical classification system that automatically categorizes a scholarly publication using its abstract into a three-tier hierarchical label set (discipline, field, subfield) in a multi-class setting. This system enables a holistic categorization of research activities in the mentioned hierarchy in terms of knowledge production through articles and impact through citations, permitting those activities to fall into multiple categories. The classification system distinguishes 44 disciplines, 718 fields and 1,485 subfields among 160 million abstract snippets in Microsoft Academic Graph (version 2018-05-17). We used batch training in a modularized and distributed fashion to address and allow for interdisciplinary and interfield classifications in single-label and multi-label settings. In total, we have conducted 3,140 experiments in all considered models (Convolutional Neural Networks, Recurrent Neural Networks, Transformers). The classification accuracy is > 90% in 77.13% and 78.19% of the single-label and multi-label classifications, respectively. We examine the advantages of our classification by its ability to better align research texts and output with disciplines, to adequately classify them in an automated way, and to capture the degree of interdisciplinarity. The proposed system (a set of pre-trained models) can serve as a backbone to an interactive system for indexing scientific publications in the future.

연구 동기 및 목표

• 모든 학술 분야에 걸쳐 통합적이고 확장 가능하며 자동화된 계층 분류 시스템을 개발하기 위해.
• 다학문적이고 다분야 연구 활동을 포괄하는 다중 레이블 분류를 가능하게 하기 위해.
• 일관된 분류 간격을 갖는 표준화된 세밀한 연구 분야 분류 체계(분야-분야-하위분야)를 구축하기 위해.
• 모든 분야와 하위분야 간 정규화된 영향도 및 성과 비교를 가능하게 하여 메타과학적 분석을 지원하기 위해.
• 미래의 상호작용식 과학 논문 색인 시스템을 위한 사전 학습된 모델 기반을 제공하기 위해.

제안 방법

• 시스템은 분야 → 분야 → 하위분야로 구성된 3단계 계층적 구조를 사용하며, 위키피디아, JEL, ACM, PACS와 같은 다학문적 자료에서 유래한 44개의 분야, 718개의 분야, 1,485개의 하위분야를 포함한다.
• 텍스트 벡터화는 토큰화, 소문자화,标 punctuations 제거 및 최대 200개 토큰으로 자르기로 이루어지며, 입력 표현을 위한 기반으로 사용된다.
• 모듈러하고 분산형이며 배치 학습 방식을 사용하여 CNN, RNN, 트랜스포머 아키텍처를 기반으로 총 3,140개의 실험을 수행한다.
• 모델은 계층적 수준 간의 무조건적 확률(P(p ∈ D))과 조건부 확률(P(p ∈ Fi | p ∈ D))을 추정하기 위해 소프트맥스 출력 레이어를 사용한다.
• 초기화된 하이퍼파ram터는 석사학위 학위논문의 추론 분석 기반으로 선정되었으며, 표준 모델의 경우 RMSProp(학습률 0.001), BERT 기반 모델의 경우 Adam(2e-5)을 사용한다.
• 다중 레이블 분류는 각 논문에 대해 다수의 하위분야 예측을 允허함으로써 다학문적 연구 탐지 정확도를 높인다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 모든 학술 분야에 걸쳐 고정확도의 다중 레이블 계층 분류를 학술 초록에 대해 달성할 수 있는가?
• RQ2 모델의 계층적 구조는 평탄한 다중 클래스 접근 방식에 비해 분류 성능을 어떻게 향상시키는가?
• RQ3 한 논문에 다수의 하위분야 레이블을 할당함으로써 시스템은 어느 정도 다학문적 연구를 포괄할 수 있는가?
• RQ4 다양한 신경망 아키텍처(CNN, RNN, 트랜스포머)는 세밀한 다단계 분류 체계에 초록을 분류하는 데에서 어떤 성능을 보이는가?
• RQ5 일관되고 확장 가능한 분류를 제공함으로써 시스템은 분야 간 정규화된 영향도 및 성과 분석을 지원할 수 있는가?

주요 결과

• 모든 테스트 모델에서 단일 레이블 분류 정확도는 77.13%, 다중 레이블 분류 정확도는 78.19%를 기록한다.
• 최고 성능을 보인 모델들은 주로 트랜스포머 및 미세조정된 BERT로, 대부분의 분류 작업에서 90% 이상의 정확도를 달성한다.
• 계층적 설계 덕분에 효과적인 다중 레이블 예측이 가능해져 논문이 여러 하위분야 및 분야에 분류될 수 있으며, 이는 다학문적 연구를 포괄하는 데 기여한다.
• 모듈러하고 분산된 학습 파이프라인은 1억 6,000만 개의 초록을 효과적으로 스케일링하여 효율적이고 견고한 모델 학습을 가능하게 하였다.
• 전이 학습과 공유된 임bedding 공간의 활용 덕분에, 레이블 데이터가 제한된 분야를 포함한 다양한 분야에 대해 강력한 일반화 성능을 보였다.
• 718개의 분야 레이블과 매핑 테이블을 포함한 공개 리포지터리가 제공되어 재현 가능성 및 향후 시스템 통합을 지원한다.