[논문 리뷰] Unsupervised Extraction of Representative Concepts from Scientific Literature

Adit Krishnan, Aravind Sankar외 2명|arXiv (Cornell University)|2017. 10. 06.

Advanced Text Analysis Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 논문 제목에서 핵심 과학적 개념을 추출하고 유형화하기 위한 비지도, 도메인 독립적인 이단계 프레임워크를 제안한다. 먼저 문맥 기반 생성 모델(PhraseType)을 사용해 문장 조각을 기술, 응용 분야 등의 유형으로 분류하고, 외부 자원 없이 어댑터 문법을 적용하여 세분화된 개념 언급을 추출한다. 이는 다양한 과학 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper studies the automated categorization and extraction of scientific concepts from titles of scientific articles, in order to gain a deeper understanding of their key contributions and facilitate the construction of a generic academic knowledgebase. Towards this goal, we propose an unsupervised, domain-independent, and scalable two-phase algorithm to type and extract key concept mentions into aspects of interest (e.g., Techniques, Applications, etc.). In the first phase of our algorithm we propose PhraseType, a probabilistic generative model which exploits textual features and limited POS tags to broadly segment text snippets into aspect-typed phrases. We extend this model to simultaneously learn aspect-specific features and identify academic domains in multi-domain corpora, since the two tasks mutually enhance each other. In the second phase, we propose an approach based on adaptor grammars to extract fine grained concept mentions from the aspect-typed phrases without the need for any external resources or human effort, in a purely data-driven manner. We apply our technique to study literature from diverse scientific domains and show significant gains over state-of-the-art concept extraction techniques. We also present a qualitative analysis of the results obtained.

연구 동기 및 목표

• 논문 제목에서 핵심 과학적 개념을 자동으로 비지도 분류하고 추출할 수 있도록 하는 것.
• 라벨 데이터나 외부 자원에 의존하지 않고 과학 문헌에서의 개념 추출 과제를 해결하는 것.
• 다양한 학술 분야에 적용 가능한 유연하고 확장 가능한 프레임워크를 개발하는 것.
• 추출 이전에 문장 조각을 유형화함으로써 특정 유형에 맞는 규칙 학습이 가능하도록 기존 방법을 향상시키는 것.
• 인용 추천 및 연구 추세 분석과 같은 응용을 위한 일반적인 학술 지식기반을 구축하는 것.

제안 방법

• 텍스트 특징과 제한된 품사 태그를 사용해 기술, 응용 분야 등의 유형으로 문장 조각을 분류하는 확률적 생성 모델인 PhraseType를 제안한다.
• 다양한 도메인을 포함하는 코퍼스에서 상호 강화를 통해 도메인 식별과 유형별 특징을 동시에 학습할 수 있도록 PhraseType를 확장한다.
• 이질적인 과학 코퍼스에서 유형 분류 성능을 향상시키기 위해 도메인 수준의 사전 정보를 통합한 PhraseType의 변종인 DomainPhraseType를 도입한다.
• 완전히 데이터 기반이며 자원이 필요 없는 방식으로, 유형화된 문장 조각에서 세분화된 개념 언급을 추출하기 위해 어댑터 문법을 활용한다.
• 어휘 임베딩과 일반화된 언어 모델을 활용해 문장 의미를 모델링하고 강력한 개념 추출을 지원한다.
• 이중 단계 파이프라인을 사용한다: 첫 번째 단계는 확률적 모델링을 통한 문장 조각 유형 분류, 두 번째 단계는 문법 기반 패턴 유도를 통한 개념 추출.

실험 결과

연구 질문

• RQ1 라벨 없이도 외부 지식 없이 기술, 응용 분야 등의 유형으로 과학적 문장 조각을 정확히 유형화할 수 있는가?
• RQ2 다양한 도메인 환경에서 성능을 향상시키기 위해 유형 유형화와 도메인 식별을 동시에 학습할 수 있는가?
• RQ3 어댑터 문법이 외부 자원 없이 유형화된 문장 조각에서 정확한 개념 언급을 얼마나 잘 추출할 수 있는가?
• RQ4 제안된 프레임워크는 과학적 제목에서의 개념 추출 분야에서 최신 기술 수준의 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 컴퓨터 과학, 데이터베이스, 자연어 처리 등 다양한 과학 분야로 일반화될 수 있는가?

주요 결과

• 제안된 프레임워크는 다양한 과학 분야에서 최신 기술 수준의 개념 추출 기법보다 뚜렷한 성능 향상을 달성한다.
• PhraseType와 DomainPhraseType는 상호 보완적인 방식으로 유형 분류와 도메인 식별을 함께 향상시키며, 두 작업 간 상호 강화 효과를 보인다.
• 어댑터 문법은 외부 자원이나 인간의 주석 없이도 세분화된 개념 언급을 성공적으로 추출한다.
• 제한된 맥락을 가진 제목에 대해서도 잘 일반화되며, NP-체킹 및 의존성 파싱 방법보다 뛰어난 성능을 보인다.
• 정성 분석 결과, ACL과 CVPR와 같은 주요 학술 회의의 제목에서 '신경망', '얼굴 인식', '기계 번역'과 같은 핵심 개념을 정확히 식별하였다.
• DBLP 데이터셋에서 10개의 고유한 과학 도메인을 발견하였으며, '복잡도 클래스'(FOCS, STOC)와 '센서 네트워크'(ICC, INFOCOM)를 포함하여 강력한 도메인 탐지 능력을 입증하였다.