[논문 리뷰] Identifying the Development and Application of Artificial Intelligence in Scientific Text

James Dunham, Jennifer Melot외 1명|arXiv (Cornell University)|2020. 02. 17.

Biomedical Text Mining and Ontologies참고 문헌 16인용 수 22

한 줄 요약

이 논문은 arXiv의 전문가가 달아준 주제 태그를 인공지능 관련성의 대체 지표로 활용하여, SciBERT를 사용한 전이 학습 방법을 제안한다. arXiv 메타데이터로 훈련된 모델은 주제별 작업에서 F1 스코어 0.75에서 0.86 사이를 기록하며, Web of Science, Dimensions, Microsoft Academic Graph와 같은 외부 코퍼스로도 효과적으로 일반화되며, 수동 레이블링 없이도 강건한 도메인 외 성능을 보여준다.

ABSTRACT

We describe a strategy for identifying the universe of research publications relevant to the application and development of artificial intelligence. The approach leverages the arXiv corpus of scientific preprints, in which authors choose subject tags for their papers from a set defined by editors. We compose a functional definition of AI relevance by learning these subjects from paper metadata, and then inferring the arXiv-subject labels of papers in larger corpora: Clarivate Web of Science, Digital Science Dimensions, and Microsoft Academic Graph. This yields predictive classification $F_1$ scores between .75 and .86 for Natural Language Processing (cs.CL), Computer Vision (cs.CV), and Robotics (cs.RO). For a single model that learns these and four other AI-relevant subjects (cs.AI, cs.LG, stat.ML, and cs.MA), we see precision of .83 and recall of .85. We evaluate the out-of-domain performance of our classifiers against other sources of topic information and predictions from alternative methods. We find that a supervised solution can generalize to identify publications that belong to the high-level fields of study represented on arXiv. This offers a method for identifying AI-relevant publications that updates at the pace of research output, without reliance on subject-matter experts for query development or labeling.

연구 동기 및 목표

• 분야의 진화하는 성격과 일관되지 않은 경계로 인해 인공지능 관련 연구를 정의하는 데 어려움이 존재하므로 이를 해결하고자 한다.
• 수동 코딩이나 정적 키워드 검색에 의존하지 않고도 확장 가능한 자동화된 방법을 개발하고자 한다.
• arXiv의 동적인 커뮤니티 주석 주제 태그로 훈련된 모델이 외부 과학 데이터베이스로의 일반화 성능을 평가하고자 한다.
• 전문가 레이블링 기반의 쿼리에 의존하지 않고 연구 결과에 따라 자동으로 업데이트되는 반복 가능한, 최신 상태의 분류 프레임워크를 제공하고자 한다.
• 일致하고 데이터 기반의 인공지능 관련성 정의를 사용하여 다양한 과학 분야에서 인공지능 발전 및 응용에 대한 문헌정보학적 분석을 가능하게 하고자 한다.

제안 방법

• 모델은 커뮤니티 주석 주제 레이블에서 유도된 인공지능 관련성의 기능적 정의를 학습하기 위해 arXiv 메타데이터와 주제 태그로 미세조정된 SciBERT 모델을 사용한다.
• 모델은 arXiv의 여섯 가지 인공지능 관련 주제 카테고리—cs.CL, cs.CV, cs.RO, cs.AI, cs.LG, stat.ML—에서 훈련된다.
• 외부 코퍼스—Clarivate Web of Science, Digital Science Dimensions, Microsoft Academic Graph—에 대해 재훈련 없이 동일한 모델을 사용해 추론을 적용한다.
• 성능 평가에는 보류된 arXiv 테스트 세트에서의 F1 스코어와 MAG의 분야별 연구 분류와의 일치를 통한 도메인 외 성능 평가가 포함된다.
• 이전 문헌정보학 연구에서 제안된 하이브리드 키워드-학습자 접근법과 비교하여 성능을 벤치마킹한다.
• 모델은 과학 텍스트로 사전 훈련된 SciBERT의 전이 학습에 기반하여 도메인 이탈이 발생할 수 있음에도 불구하고 새로운 도메인으로의 일반화 능력이 향상된다.

실험 결과

연구 질문

• RQ1 arXiv의 커뮤니티 주석 주제 태그로 훈련된 지도 학습 NLP 모델이 외부 과학 코퍼스에서 인공지능 관련 논문을 일반화하여 식별할 수 있는가?
• RQ2 미세조정된 SciBERT 모델의 성능가 키워드 기반 또는 하이브리드 키워드-학습자 방법과 비교해 어떻게 다른가?
• RQ3 arXiv의 암묵적이고 실시간 주제 정의가 더 넓은 과학 문헌 전반에서 인공지능 관련 연구를 정의하고 탐지하는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ4 모델은 arXiv에서 다루지 않는 분야를 포함한 다양한 과학 분야에서 논문을 분류하는 데 얼마나 잘 수행되는가?
• RQ5 클래스 불균형이 모델 성능에 미치는 영향은 무엇이며, 이를 후속 응용에서 어떻게 해결할 수 있는가?

주요 결과

• 모델은 arXiv에서 주제별 분류 작업에서 F1 스코어 0.75에서 0.86 사이를 기록하며, 여섯 개의 핵심 인공지능 분야에 대한 다중 클래스 AI 관련성 레이블에서 F1 스코어 0.84를 기록한다.
• 키워드 기반 방법은 arXiv 레이블을 기준으로 평가했을 때 각각 F1 스코어 0.55와 0.59로 유의미하게 낮은 성능을 보이며, 지도 학습 접근법의 우수성을 시사한다.
• 모델은 외부 코퍼스로의 일반화가 효과적으로 이루어지며, 예측된 인공지능 관련성 비율이 MAG의 분야별 연구 분류와 타당하게 일치함을 보여, 강력한 도메인 외 일반화 능력을 입증한다.
• 이 방법은 수동 레이블링이나 전문가가 정의한 쿼리가 필요 없이 확장 가능하고 최신 상태의 인공지능 관련 논문 식별이 가능하다.
• arXiv 데이터에서 음성 예측 대 비음성 예측 비율이 9:1로 클래스 불균형이 존재하더라도 모델은 강건하게 작동하며 다양한 과학 분야에서 잘 작동한다.
• 본 연구는 arXiv의 동적인 커뮤니티 주도 주제 분류 체계에서 전이 학습을 통해 정적 키워드나 전문가 정의 쿼리에 비해 실용적이고 확장 가능한 인공지능 문헌 식별 방법을 제공함을 입증한다.