[논문 리뷰] Information Extraction from Scientific Literature for Method Recommendation

Yi Luan|arXiv (Cornell University)|2018. 12. 13.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 비정형 문헌에서 과학적 용어를 추출하고 공동 발생, 의존 구문 분석 및 위키백과 유래 관계를 사용하여 지식 그래프를 구축함으로써 과학적 방법 추천을 위한 준지도 학습 프레임워크를 제안한다. 이는 최소한의 인간 주석 데이터를 요구하면서도 용어 추출에서 최고 성능을 달성하고, MRR 및 인간 평가를 통한 검증을 통해 링크 예측을 통한 방법-과제 추천을 가능하게 한다.

ABSTRACT

As a research community grows, more and more papers are published each year. As a result there is increasing demand for improved methods for finding relevant papers, automatically understanding the key ideas and recommending potential methods for a target problem. Despite advances in search engines, it is still hard to identify new technologies according to a researcher's need. Due to the large variety of domains and extremely limited annotated resources, there has been relatively little work on leveraging natural language processing in scientific recommendation. In this proposal, we aim at making scientific recommendations by extracting scientific terms from a large collection of scientific papers and organizing the terms into a knowledge graph. In preliminary work, we trained a scientific term extractor using a small amount of annotated data and obtained state-of-the-art performance by leveraging large amount of unannotated papers through applying multiple semi-supervised approaches. We propose to construct a knowledge graph in a way that can make minimal use of hand annotated data, using only the extracted terms, unsupervised relational signals such as co-occurrence, and structural external resources such as Wikipedia. Latent relations between scientific terms can be learned from the graph. Recommendations will be made through graph inference for both observed and unobserved relational pairs.

연구 동기 및 목표

• 광범위한 과학 문헌에서 핵심 용어와 관계를 추출하여 연구자에게 관련된 과학적 방법을 추천하는 데 도전하는 것.
• 준지도 학습과 비지도 관계 신호를 활용하여 고비용의 인간 주석 데이터에 대한 의존도를 최소화하는 것.
• 공동 발생, 의존 구문 분석 및 위키백과를 사용하여 과학적 방법과 과제 간 잠재적 관계를 모델링하는 과학 지식 그래프를 구축하는 것.
• 그래프 기반 링크 예측과 다중 경로 관계 모델링을 통해 아직 출판되지 않은 방법-과제 쌍을 추천하는 것.
• 자동 평가 지표(MRR, Hits@k)와 인간 평가를 모두 활용하여 실용적 관련성을 확보하기 위해 시스템을 평가하는 것.

제안 방법

• 소량의 주석 데이터를 기반으로 학습된 준지도 신경망 모델이 대규모 비주석 과학 논문을 활용하여 과학적 용어 추출 성능을 향상시킨다.
• 공동 발생 패턴과 의존 관계가 과학적 용어 간 연결을 유추하기 위한 비지도 관계 신호로 사용된다.
• 위키백과에서 유래한 외부 지식이 보조 자원으로 통합되어 관계 신호를 풍부화하고 그래프 표현을 향상시킨다.
• 다중 경로 그래프 추론 모델은 가중치가 부여된 경로 표현과 무작위 보행 확률을 사용하여 다양한 출처(예: 의존 경로, 위키백과)의 증거를 통합한다.
• 링크 예측을 위한 스코어 함수는 경로 표현을 조합하고, 다양한 자원 유형 간 경로 길이별로 공유 가중치를 학습한다.
• 열린 관계는 잠재적 관계 표현의 클러스터링을 통해 탐색되며, 명시적 주석 없이도 세밀한 방법-과제 관계를 발견할 수 있다.

실험 결과

연구 질문

• RQ1 준지도 학습이 최소한의 주석 데이터로 과학적 용어 추출에서 최고 성능을 달성할 수 있는가?
• RQ2 공동 발생과 위키백과와 같은 외부 지식 자원을 얼마나 효과적으로 활용하여 인간 주석이 최소한인 과학 지식 그래프를 구축할 수 있는가?
• RQ3 그래프 기반 링크 예측이 아직 문헌에 발표되지 않은 새로운 방법-과제 관계를 어느 정도 정확하게 추론할 수 있는가?
• RQ4 다양한 출처에서 유래한 다중 경로 관계 신호가 단일 자원 접근 방식에 비해 추천 성능을 얼마나 향상시키는가?
• RQ5 잠재적 관계 표현의 클러스터링이 과학적 방법과 과제 간 의미 있는 세밀한 관계를 드러내는 데 얼마나 효과적인가?

주요 결과

• 제안된 준지도 학습 용어 추출 모델은 대규모 비주석 논문을 활용하여 과학적 용어 추출에서 최고 성능을 달성한다.
• 지식 그래프 구축 방법은 공동 발생, 의존 관계 및 위키백과를 효과적으로 통합하여 최소한의 인간 주석 데이터로 과학 관계를 모델링한다.
• 구축된 지식 그래프를 활용한 링크 예측은 GAN이 NLP에 사용될 수 있음을 높은 정확도로 예측하는 등 타당한 방법-과제 적용을 성공적으로 식별한다.
• 자동 평가에서 뛰어난 성능을 기록하여 MRR 및 Hits@k 점수를 통해 관련된 방법-과제 쌍의 순위 매기기가 효과적임을 보여준다.
• 인간 평가 결과 상위 30개 추천 항목의 정밀도와 재현율이 높아 실용적 유용성이 검증된다.
• 잠재적 관계 표현의 클러스터링은 HMM + Viterbi와 같은 방법 조합이나 POS 태깅과 NER와 같은 과제 유사성과 같은 의미 있는 세밀한 관계를 드러내어 열린 관계 학습의 잠재력을 보여준다.