[논문 리뷰] Informational Space of Meaning for Scientific Texts

Neslihan Süzen, Evgeny M. Mirkes외 1명|arXiv (Cornell University)|2020. 04. 28.

Advanced Text Analysis Techniques참고 문헌 8인용 수 4

한 줄 요약

이 논문은 과학적 문맥에서 어휘 의미를 정량화하기 위해 252개의 Web of Science 주제 분야를 기반으로 상대적 정보 수익(RIG)을 사용하는 새로운 벡터 공간 모델인 '의미 공간(Meaning Space)'을 소개한다. 리체스터 과학 코퍼스(167만 개의 초록)와 어휘집(LScDC)에 적용된 RIG 기반 표현은 원시 빈도보다 주제별로 특화된 고영향력 과학어휘를 더 잘 식별하며, 103,998 × 252 RIG 행렬과 새로운 과학 어휘사전(LScT)이 공개되어 있다.

ABSTRACT

In Natural Language Processing, automatic extracting the meaning of texts constitutes an important problem. Our focus is the computational analysis of meaning of short scientific texts (abstracts or brief reports). In this paper, a vector space model is developed for quantifying the meaning of words and texts. We introduce the Meaning Space, in which the meaning of a word is represented by a vector of Relative Information Gain (RIG) about the subject categories that the text belongs to, which can be obtained from observing the word in the text. This new approach is applied to construct the Meaning Space based on Leicester Scientific Corpus (LSC) and Leicester Scientific Dictionary-Core (LScDC). The LSC is a scientific corpus of 1,673,350 abstracts and the LScDC is a scientific dictionary which words are extracted from the LSC. Each text in the LSC belongs to at least one of 252 subject categories of Web of Science (WoS). These categories are used in construction of vectors of information gains. The Meaning Space is described and statistically analysed for the LSC with the LScDC. The usefulness of the proposed representation model is evaluated through top-ranked words in each category. The most informative n words are ordered. We demonstrated that RIG-based word ranking is much more useful than ranking based on raw word frequency in determining the science-specific meaning and importance of a word. The proposed model based on RIG is shown to have ability to stand out topic-specific words in categories. The most informative words are presented for 252 categories. The new scientific dictionary and the 103,998 x 252 Word-Category RIG Matrix are available online. Analysis of the Meaning Space provides us with a tool to further explore quantifying the meaning of a text using more complex and context-dependent meaning models that use co-occurrence of words and their combinations.

연구 동기 및 목표

• 짧은 과학적 텍스트(예: 초록)에서 어휘 의미를 정량화하는 계산 모델을 개발하는 것.
• 단순한 빈도 수를 넘어서 주제별로 특화되고 의미적으로 중요한 어휘를 과학 문헌에서 식별하는 데 도전하는 것.
• 어휘 의미가 주제 분야 간 상대적 정보 수익(RIG) 벡터로 표현되는 의미 공간을 구축하는 것.
• NLP 및 텍스트 마이닝 응용 분야에서 사용 가능한 공개 가능한 과학 어휘집과 RIG 행렬을 제작하는 것.

제안 방법

• 각 어휘를 252개의 Web of Science 주제 분야에 대해 상대적 정보 수익(RIG) 값의 벡터로 표현한다.
• 정보 이론적 원리를 사용하여 어휘-분야 쌍의 RIG를 계산하여, 특정 어휘의 존재가 분야에 대한 불확실성을 얼마나 줄이는지 측정한다.
• 리체스터 과학 코퍼스(LSC)의 1,673,350개 과학 초록과 그로부터 유도된 리체스터 과학 어휘집-핵심(LScDC)을 사용하여 의미 공간을 구축한다.
• RIG 행렬을 활용해 각 분야별로 가장 정보량이 많은 어휘를 순위 매겨 도메인 특화 용어를 식별한다.
• 차원 축소 및 군집화 기법을 적용하여 의미 공간의 구조를 탐색한다.
• 103,998 × 252 어휘-분야 RIG 행렬과 새로운 과학 어휘사전(LScT)을 공개한다.

실험 결과

연구 질문

• RQ1 RIG 기반 어휘 표현 방식은 과학 텍스트에서 가장 의미 있고 주제별로 특화된 어휘를 식별하는 데 원시 빈도보다 뛰어난 성능을 보일 수 있는가?
• RQ2 RIG 기반 벡터 공간 모델은 다양한 연구 분야에서 과학어휘의 의미 특이성을 어떻게 포착하는가?
• RQ3 RIG를 통해 구성된 의미 공간은 어휘 사용과 분야 연관성에 대해 의미 있는 패턴을 얼마나 잘 드러내는가?
• RQ4 RIG 행렬과 이를 기반으로 생성된 어휘사전(LScT)은 과학적 텍스트 분석 및 정보 추출에 있어 강력하고 데이터 기반의 도구로 기능할 수 있는가?

주요 결과

• RIG 기반 순위 매기기 방식은 모든 252개 주제 분야에서 주제별로 특화된 고영향력 과학어휘를 식별하는 데 원시 빈도보다 뚜렷이 뛰어난 성능을 보였다.
• 각 분야에서 가장 정보량이 많은 어휘들—예를 들어 여성학 분야에서 'femal'(RIG: 3.6×10⁻²)과 철학 분야에서 'speci'(RIG: 1.9×10⁻¹)는 매우 관련성 있고 맥락적으로 의미 있는 어휘였다.
• 103,998 × 252 어휘-분야 RIG 행렬은 다양한 분야에 걸쳐 과학 어휘 의미를 종합적으로 공개 가능한 형태로 제공한다.
• 제안된 의미 공간은 정보 수익 분석을 통해 이상치 및 도메인 특화 용어의 효과적인 탐색을 가능하게 한다.
• 리체스터 과학 어휘사전(LScT)은 RIG 행렬에서 성공적으로 유도되었으며, 과학적 텍스트 마이닝을 위한 새로운 자원이 되었다.
• 이 모델은 어휘 공존 및 의미 조합을 포함한 고급 의미 모델에 대한 강력한 잠재력을 보였다.