[논문 리뷰] Structural Scaffolds for Citation Intent Classification in Scientific Publications

Arman Cohan, Waleed Ammar외 2명|arXiv (Cornell University)|2019. 04. 02.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 구조적 솔라프드(예: 단락 제목 예측 및 인용가치 예측)를 보조 작업으로 사용하는 신경 다중임무 학습 프레임워크를 제안한다. 이는 외부 특징 없이 과학적 논문의 내재된 구조적 신호를 활용하여 인용 의도 분류 성능을 향상시킨다. 이 모델은 과학적 논문 내부의 구조적 신호를 활용함으로써 ACL-ARC 데이터셋에서 기존 최고 성능 대비 13.3% 절대적인 향상률을 기록한 새로운 최상위 성능 F1 스코어 67.9%를 달성하였으며, 다양한 과학 분야를 포함하는 대규모 SciCite 데이터셋을 공개한다.

ABSTRACT

Identifying the intent of a citation in scientific papers (e.g., background information, use of methods, comparing results) is critical for machine reading of individual publications and automated analysis of the scientific literature. We propose structural scaffolds, a multitask model to incorporate structural information of scientific papers into citations for effective classification of citation intents. Our model achieves a new state-of-the-art on an existing ACL anthology dataset (ACL-ARC) with a 13.3% absolute increase in F1 score, without relying on external linguistic resources or hand-engineered features as done in existing methods. In addition, we introduce a new dataset of citation intents (SciCite) which is more than five times larger and covers multiple scientific domains compared with existing datasets. Our code and data are available at: https://github.com/allenai/scicite.

연구 동기 및 목표

• 과학 문헌 내 인용 의도 분류 성능을 햖थ기 위해 과학 논문의 구조적 정보를 통합하는 것.
• 인용 의도 분류에서 수작업으로 설계된 언어적 특징이나 외부 자원에 의존하지 않는 것.
• 다양한 과학 분야에 적용 가능한 확장 가능한 일반 목적의 데이터셋을 개발하는 것.
• 논문의 구조와 관련된 보조 작업이 주 분류 작업의 성능을 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 모델은 인용 맥락을 인코딩하기 위해 GloVe와 ELMo 임베딩을 융합한 하이브리드 단어 표현을 사용한다.
• 양방향 LSTM이 문맥 기반 토큰 표현을 처리하여 순차적 의존성을 포착한다.
• 어텐션 메커니즘이 각 인용에 대해 단일한 맥락 인식 표현으로 LSTM 출력을 집계한다.
• 두 가지 구조적 솔라프드를 도입한다: 단락 제목 예측 및 문장이 인용이 필요한지 여부 판단(인용가치 예측).
• 프레임워크는 다중임무 학습을 활용하여 주 의도 분류 작업과 두 가지 보조 솔라프드 작업을 함께 훈련한다.
• 모델은 대규모 논문 구조 보조 데이터셋에서 엔드 투 엔드로 훈련되어 인용 의도 예측의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 외부 언어 자원에 의존하지 않고도 과학 논문 내재의 구조적 신호가 인용 의도 분류 성능을 향상시킬 수 있는가?
• RQ2 단락 제목 예측 및 인용가치 예측과 같은 보조 작업은 주 인용 의도 분류 작업의 성능 향상에 얼마나 효과적인가?
• RQ3 다양한 과학 분야에 적용 가능한 통합된 일반 목적의 인용 의도 분류 체계를 개발할 수 있는가?
• RQ4 구조적 솔라프드를 통합할 경우, 기존 특징 기반 방법에 비해 인용 의도 분류 성능에서 얼마나 뛰어난가?

주요 결과

• 제안된 솔라프드 모델은 ACL-ARC 데이터셋에서 이전 최고 성능 방법 대비 13.3% 절대적 향상률을 기록한 새로운 최상위 성능 F1 스코어 67.9%를 달성하였다.
• 모델은 수작업으로 설계된 언어적 특징이나 외부 자원을 사용하지 않음에도 불구하고 기존 특징 기반 접근법을 초월하는 성능을 보였다.
• 공개된 SciCite 데이터셋은 기존 인용 의도 데이터셋보다 5배 이상 크며, 다양한 과학 분야를 포함한다.
• 혼동 행렬 분석 결과, 모델은 ACL-ARC 및 SciCite 데이터셋 양쪽에서 주요 의도 카테고리에 대해 최소한의 오류를 보이며 잘 일반화됨을 확인하였다.
• 단락 제목 예측 및 인용가치 예측과 같은 보조 작업은 다중임무 학습을 통해 주 분류 작업의 성능 향상에 크게 기여하였다.
• 모델는 새로운 SciCite 데이터셋에서도 뛰어난 성능을 보이며, 다양한 과학 문헌에서의 일반화 능력을 입증하였다.