[논문 리뷰] Distributional semantic modeling: a revised technique to train term/word vector space models applying the ontology-related approach

Oleksandr Palagin, Vitalii Velychko외 2명|arXiv (Cornell University)|2020. 03. 06.

Natural Language Processing Techniques참고 문헌 28인용 수 10

한 줄 요약

이 논문은 의미 전처리 기술(SPT)을 통해 문법적, 용어학적, 의미적 맥락 지식을 통합함으로써 분산된 용어 표현(용어 임베딩)을 학습하기 위한 새로운 신경망 기반 기법을 제안한다. 이 방법은 응용 중심의 용어 중심 벡터 공간 모델을 생성하여 의미 지도 정확도를 향상시키고, Vec2graph를 통한 상호작용 가능한 그래프 시각화를 지원하며, 우크라이나어 자연어 처리를 위한 종합적인 웹 기반 툴킷을 제공함으로써 자동 온톨로지 개발을 진전시킨다.

ABSTRACT

We design a new technique for the distributional semantic modeling with a neural network-based approach to learn distributed term representations (or term embeddings) - term vector space models as a result, inspired by the recent ontology-related approach (using different types of contextual knowledge such as syntactic knowledge, terminological knowledge, semantic knowledge, etc.) to the identification of terms (term extraction) and relations between them (relation extraction) called semantic pre-processing technology - SPT. Our method relies on automatic term extraction from the natural language texts and subsequent formation of the problem-oriented or application-oriented (also deeply annotated) text corpora where the fundamental entity is the term (includes non-compositional and compositional terms). This gives us an opportunity to changeover from distributed word representations (or word embeddings) to distributed term representations (or term embeddings). This transition will allow to generate more accurate semantic maps of different subject domains (also, of relations between input terms - it is useful to explore clusters and oppositions, or to test your hypotheses about them). The semantic map can be represented as a graph using Vec2graph - a Python library for visualizing word embeddings (term embeddings in our case) as dynamic and interactive graphs. The Vec2graph library coupled with term embeddings will not only improve accuracy in solving standard NLP tasks, but also update the conventional concept of automated ontology development. The main practical result of our work is the development kit (set of toolkits represented as web service APIs and web application), which provides all necessary routines for the basic linguistic pre-processing and the semantic pre-processing of the natural language texts in Ukrainian for future training of term vector space models.

연구 동기 및 목표

• 어휘 임베딩이 도메인 특화 의미 관계를 포착하는 데에 한계가 있음을 해결하기 위해 어휘 수준의 표현에서 용어 수준의 표현으로 초점을 이동시키는 것.
• 문법적, 용어학적, 의미적 지식을 용어 추출 및 관계 식별에 통합하여 자동 온톨로지 개발을 향상시키는 것.
• 도메인 특화 용어 벡터 공간 모델을 학습하기 위해 어법적 및 의미적 전처리를 수행하는 실용적이고 응용 준비가 된 툴킷을 개발하는 것.
• 조합적 및 비조합적 용어를 반영하는 용어 임베딩을 통해 주제 분야의 더 정확한 의미 지ap핑을 가능하게 하는 것.
• 기존 온톨로지 공학 방식을 업데이트하기 위해 사전 훈련된 용어 임베딩을 상호작용 가능한 시각화 및 검증 파이프라인과 통합하는 것.

제안 방법

• 이 방법은 문법, 용어학, 의미적 지식 등의 맥락 지식을 사용하여 원시 우크라이나어 텍스트에서 용어(비조합적 및 조합적)를 추출하는 의미 전처리 기술(SPT)을 활용한다.
• 기본 단위가 단어가 아니라 용어인 문제 중심 또는 응용 중심 텍스트 코퍼스를 구성함으로써 용어 중심의 벡터 공간 모델링을 가능하게 한다.
• 이러한 주석 처리된 코퍼스에서 신경망 기반 접근 방식을 사용하여 용어 임베딩을 학습함으로써 기존의 어휘 임베딩 프레임워크를 대체한다.
• Vec2graph 파이썬 라이브러리는 용어 임베딩을 동적이고 상호작용 가능한 그래프로 시각화하여 의미 클러스터와 대비를 탐색할 수 있도록 한다.
• 웹 서비스 API와 웹 애플리케이션으로 제공되는 종합적인 개발 키트는 우크라이나어 자연어 처리를 위한 언어학적 전처리, SPT, 모델 관리 파이프라인을 통합한다.
• 사전 훈련된 어휘 임베딩(기본적으로 컨텍스트 기반 모델 포함)과의 통합을 지원하며, 재학습 없이도 기존 모델을 재사용할 수 있다.

실험 결과

연구 질문

• RQ1 온톨로지 관련 맥락 지식은 도메인 특화 텍스트에서 용어 추출 및 관계 식별 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 용어 임베딩은 주제 분야 내에서 의미 관계를 포착하는 데 있어 어휘 임베딩보다 얼마나 뛰어나게 작용하는가?
• RQ3 용어 중심의 벡터 공간 모델은 자동 온톨로지 개발에서 의미 지도의 품질과 해석 가능성에 어떻게 기여하는가?
• RQ4 웹 기반 툴킷은 우크라이나어에서 용어 임베딩을 학습하기 위한 언어학적 및 의미 전처리의 전 과정을 얼마나 효과적으로 지원하는가?
• RQ5 사전 훈련된 임베딩을 SPT 및 시각화 도구와 통합함으로써 지식 공학 워크플로에 어떤 영향을 미치는가?

주요 결과

• 제안된 SPT 기반 방법은 어휘, 용어학, 의미적 지식을 활용하여 우크라이나어 텍스트에서 비조합적 및 조합적 용어를 성공적으로 추출한다.
• 이 방법을 통해 학습된 용어 벡터 공간 모델은 기존의 어휘 임베딩보다 더 정확한 의미 지도를 생성하며, 특히 도메인 특화 개념의 클러스터와 대비를 식별하는 데서 뛰어난 성능을 보인다.
• 용어 임베딩과 Vec2graph의 통합은 의미 관계의 동적이고 상호작용 가능한 시각화를 가능하게 하여 가설 검증 및 지식 검증을 지원한다.
• 웹 API와 웹 애플리케이션을 포함한 개발 키트는 언어학적 전처리, SPT, 모델 관리에 이르기까지 우크라이나어 자연어 처리를 위한 완전한 파이프라인을 제공한다.
• 외부에서 사전 훈련된 어휘 임베딩의 재사용을 지원함으로써 학습 비용을 줄이고 도메인 특화 응용에서 높은 의미 충실도를 유지한다.
• 의미 전처리를 모델 훈련 파이프라인에 직접 통합함으로써 이 방법은 자동 온톨로지 개발을 향상시키며, 정확도와 해석 가능성 모두를 향상시킨다.