[논문 리뷰] OAG-BERT: Towards A Unified Backbone Language Model For Academic Knowledge Services

Xiao Liu, Da Yin외 6명|arXiv (Cornell University)|2021. 03. 03.

Topic Modeling참고 문헌 36인용 수 6

한 줄 요약

OAG-BERT는 오픈 학술 그래프(OAG)에서 사전 훈련된 통합형 엔티티 보강 언어 모델로, 이질적인 학술 엔티티(예: 논문, 저자, 학술 회의)와 과학적 텍스트를 통합한다. 이 모델은 논문 제목 생성, 학술 회의 예측 등 9개의 학술 NLP 작업에서 최신 기술 성능을 달성하며, 제로샷 추론 기능을 통해 강력한 일반화 능력과 실제 응용 환경에서의 활용 가능성을 입증한다. NSFC 심사위원 추천 및 AMiner 시스템에서의 적용 사례를 포함한다.

ABSTRACT

Academic knowledge services have substantially facilitated the development of the science enterprise by providing a plenitude of efficient research tools. However, many applications highly depend on ad-hoc models and expensive human labeling to understand scientific contents, hindering deployments into real products. To build a unified backbone language model for different knowledge-intensive academic applications, we pre-train an academic language model OAG-BERT that integrates both the heterogeneous entity knowledge and scientific corpora in the Open Academic Graph (OAG) -- the largest public academic graph to date. In OAG-BERT, we develop strategies for pre-training text and entity data along with zero-shot inference techniques. In OAG-BERT, we develop strategies for pre-training text and entity data along with zero-shot inference techniques. Its zero-shot capability furthers the path to mitigate the need of expensive annotations. OAG-BERT has been deployed for real-world applications, such as the reviewer recommendation function for National Nature Science Foundation of China (NSFC) -- one of the largest funding agencies in China -- and paper tagging in AMiner. All codes and pre-trained models are available via the CogDL toolkit.

연구 동기 및 목표

• 학술 지식 응용 분야에서 임시로 설계된 모델과 높은 비용이 드는 인간 레이블링 데이터에 대한 의존도를 해소한다.
• 이질적인 학술 엔티티 지식과 과학적 텍스트를 통합한 통합형 사전 훈련 언어 모델을 개발한다.
• 하류 작업에 대한 사전 훈련 없이도 제로샷 추론을 가능하게 하여 레이블링 비용을 줄인다.
• 단일의 일반 목적 기반 모델을 통해 다양한 학술 지식 서비스를 지원한다.
• 실제 시스템인 NSFC 심사위원 추천 및 AMiner에 모델을 구현한다.

제안 방법

• OAG에 포함된 7억 개 이상의 엔티티와 20억 개 이상의 관계, 1억 1천만 개의 초록 및 500만 개의 전문 논문을 기반으로 OAG-BERT를 사전 훈련한다.
• 저자, 학술 회의, 전공 분야 등 다양한 엔티티 유형을 구분하기 위해 엔티티 유형 임베딩을 도입한다.
• 마스크된 언어 모델링 중 엔티티 길이에 따라 연속적인 토큰 스트림을 마스킹하는 스파이크 인식 마스킹 전략을 설계한다.
• 엔티티 내 토큰 순서와 엔티티 간 순서를 모두 모델링하기 위해 엔티티 인식 2차원 위치 인코딩을 제안한다.
• 학술 회의 예측, 소속 기관 예측, 전공 분야 태깅 등의 작업에 대해 프롬프트 기반 제로샷 추론을 적용한다.
• 엔티티 예측을 위해 토큰 로그 확률의 합을 사용하고, 인코더 기반 모델에서 더 나은 성능을 내기 위해 순서를 뒤바꿔서 디코딩하는 전략을 적용한다.

실험 결과

연구 질문

• RQ1 이질적인 학술 지식과 텍스트에서 사전 훈련된 통합 언어 모델이 다양한 학술 NLP 작업에서 전용 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 OAG-BERT를 사용한 제로샷 추론이 학술 회의, 소속 기관, 전공 분야 예측과 같은 엔티티 예측 작업에 얼마나 효과적인가?
• RQ3 엔티티 인식 위치 인코딩과 스파이크 인식 마스킹을 통합할 경우 엔티티가 풍부한 학술 작업에서 모델 성능이 얼마나 향상되는가?
• RQ4 특정 작업에 맞춰 미세조정 없이도 OAG-BERT가 여러 학술 지식 서비스에 잘 일반화되는가?
• RQ5 OAG-BERT는 심사위원 추천 및 논문 태깅과 같은 실제 응용 환경에서 얼마나 잘 작동하는가?

주요 결과

• OAG-BERT는 이름 충돌 해소, 문헌 검색, 논문 추천 등 9개의 학술 지식 집약형 작업에서 최신 기술 성능을 달성한다.
• 모델는 강력한 제로샷 능력을 보이며, 인간 평가 결과 47.6%의 OAG-BERT 생성 제목이 원본 인간 작성 제목과 구분되지 않았다.
• 엔티티 예측에 토큰 로그 확률의 합을 사용할 경우 평균을 구하는 것보다 성능이 뛰어나, 모델 신뢰도 점수와의 일치도가 더 높음을 시사한다.
• 인코더 기반 모델인 OAG-BERT와 SciBERT에서 순서를 뒤바꿔서 디코딩하는 전략이 좌에서 우로의 디코딩 방식보다 뛰어난 성능을 내며, 더 나은 결과를 도출한다.
• OAG-BERT는 NSFC 심사위원 추천 및 AMiner 시스템과 같은 실제 시스템에 성공적으로 구현되어 실용적 활용 가능성을 입증했다.
• 연구 커뮤니티가 널리 접근하고 재사용할 수 있도록 CogDL 툴킷을 통해 모델이 공개되었다.