[논문 리뷰] Using natural language processing techniques to extract information on the properties and functionalities of energetic materials from large text corpora

Daniel C. Elton, D P Turakhia외 5명|arXiv (Cornell University)|2019. 03. 01.

Computational Drug Discovery Methods참고 문헌 29인용 수 16

한 줄 요약

이 논문은 에너제틱 물질에 관한 대규모 비라벨링 텍스트 코퍼스에서 화학-화학, 화학-성질, 화학-응용 관계를 자동으로 추출하기 위해 사전 훈련된 단어 임베딩(word2vec 및 GloVe)을 사용하는 자연어 처리(NLP) 파이프라인을 제시한다. 임베딩 공간 내의 의미적 유사도를 활용하여 수동으로 라벨링된 데이터가 필요 없이도 동의어, 기능적 응용(예: 로켓, 에어백), 관련 화합물과 같은 의미 있는 연관성을 식별한다. 이는 자료 정보학 분야에서 높은 전이 가능성과 유용성을 보여준다.

ABSTRACT

The number of scientific journal articles and reports being published about energetic materials every year is growing exponentially, and therefore extracting relevant information and actionable insights from the latest research is becoming a considerable challenge. In this work we explore how techniques from natural language processing and machine learning can be used to automatically extract chemical insights from large collections of documents. We first describe how to download and process documents from a variety of sources - journal articles, conference proceedings (including NTREM), the US Patent & Trademark Office, and the Defense Technical Information Center archive on archive.org. We present a custom NLP pipeline which uses open source NLP tools to identify the names of chemical compounds and relates them to function words ("underwater", "rocket", "pyrotechnic") and property words ("elastomer", "non-toxic"). After explaining how word embeddings work we compare the utility of two popular word embeddings - word2vec and GloVe. Chemical-chemical and chemical-application relationships are obtained by doing computations with word vectors. We show that word embeddings capture latent information about energetic materials, so that related materials appear close together in the word embedding space.

연구 동기 및 목표

• 에너지 물질에 관한 과학 문헌의 급격히 증가하는 볼륨에서 실질적인 통찰을 추출하는 데 도전하는 데 목적을 두며.
• 텍스트에서 화학-화학, 화학-성질, 화학-응용 관계를 식별하기 위한 자동화되고 전이 가능한 시스템을 개발하는 데 목적을 두며.
• 수동으로 라벨링된 학습 데이터가 없는 조건에서 상용 NLP 도구와 사전 훈련된 단어 임베딩의 효과성을 평가하는 데 목적을 두며.
• 단어 임베딩 공간 내의 의미적 유사도가 동의어나 기능적 그룹화와 같은 화학적으로 의미 있는 연관성을 드러낼 수 있음을 보여주는 데 목적을 두며.
• 전통적인 수작업 기반 NLP 주석 방식에 비해 자원 소모가 적고 확장 가능한 대체 방법을 제공하는 데 목적을 두며.

제안 방법

• 과학 논문, 컫런스 프로ceedings(NTREM 포함), USPTO 특허, DTIC 보고서를 통합하여 대규모 개방형 코퍼스를 구축하였다.
• 오픈소스 NLP 도구를 적용하여 명명된 실체 인식(NER)을 수행하고 텍스트에서 화학물질 이름을 추출하였다.
• 공동 등장 패턴 기반으로 단어를 조밀한 벡터 공간에 표현하기 위해 word2vec과 GloVe를 사용하여 단어 임베딩을 생성하였다.
• 단어 벡터 간 코사인 유사도를 사용하여 동의어나 기능적으로 유사한 물질과 같은 의미적으로 관련된 용어를 식별하였다.
• ChemDataExtractor와 SVM 분류기로 구성된 필터링 기법을 적용하여 비화학물질 및 비에너지 물질을 제외함으로써 결과를 정제하였다.
• 응용 관련 용어(예: '로켓', '에어', '수중')를 쿼리로 사용하고 상위 유사어의 관련성과 정확도를 분석함으로써 시스템 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 수동으로 라벨링된 데이터가 없이도 사전 훈련된 단어 임베딩이 에너제틱 물질 간 의미적 관계를 효과적으로 포착할 수 있는가?
• RQ2 word2vec과 GloVe 임베딩이 에너제틱 물질 맥락에서 화학적 동의어와 기능적으로 관련된 화합물을 얼마나 잘 식별하는가?
• RQ3 임베딩 공간 내 의미적 유사도가 로켓 연료나 에어백에 사용되는 물질과 같은 의미 있는 화학-응용 연관성을 어느 정도 드러내는가?
• RQ4 화학물질 인식 및 에너지 물질 가능성 기반 필터링이 추출된 관계의 품질을 얼마나 향상시키는가?
• RQ5 이 방법이 최소한의 도메인 특화 튜닝으로도 다양한 텍스트 소스(예: 특허 대비 과학 논문)에 일반화될 수 있는가?

주요 결과

• word2vec과 GloVe 임베딩은 의미적 관계를 성공적으로 포착하였으며, word2vec이 상위 5개 유사어 순위에서 'RDX'와 'hexogen'과 같은 동의어를 식별하는 데 약간 더 뛰어난 성능을 보였다.
• '수중' 쿼리에 대해 시스템은 '펜톨라이트'와 'TBE'(열폭발성 폭약)를 상위 유사어로 정확히 식별하여 기능적 관련성을 보여주었다.
• '에어' 쿼리에서는 '아르곤'과 '질소'가 높은 순위에 올랐고, 실험용 에어백 물질인 '세미카바지드 질산염'도 의미 있는 에너지 물질로 정확히 식별되었다.
• 문맥 분석을 통해 'HoB'(폭발 높이), 'LAG'(액체 보조 분쇄), 'NOL'(해군 무기 실험소)와 같은 약어를 성공적으로 해석하였다.
• SVM 분류기를 통한 필터링이 비에너지 물질을 제거하여 정밀도를 크게 향상시켰으며, '펜톨라이트'와 'TBE'는 상위 결과에 그대로 유지되었다.
• 이 방법은 라벨이 없는 데이터를 요구하지만도 다양한 텍스트 소스(특허, 컨퍼런스 프로ceedings 포함)에서 우수한 성능을 보여 높은 전이 가능성과 함께 검증되었다.