[論文レビュー] Using natural language processing techniques to extract information on the properties and functionalities of energetic materials from large text corpora

Daniel C. Elton, D P Turakhia+5 more|arXiv (Cornell University)|Mar 1, 2019

Computational Drug Discovery Methods参考文献 29被引用数 16

ひとこと要約

本論文は、予め学習された単語埋め込み（word2vecおよびGloVe）を用いた自然言語処理（NLP）パイプラインを提示し、エネルギー材料に関する大規模でラベルなしテキストコーパスから、化学物質同士、化学物質-性質、化学物質-応用の関係を自動で抽出する。埋め込み空間内の意味的類似度を活用することで、手動ラベルなしに、同一義語、機能的応用（例：ロケット、エアバッグ）、関連化合物といった意味のある関連性を同定する。これは、材料インフォマティクス分野において高い汎用性と実用性を示している。

ABSTRACT

The number of scientific journal articles and reports being published about energetic materials every year is growing exponentially, and therefore extracting relevant information and actionable insights from the latest research is becoming a considerable challenge. In this work we explore how techniques from natural language processing and machine learning can be used to automatically extract chemical insights from large collections of documents. We first describe how to download and process documents from a variety of sources - journal articles, conference proceedings (including NTREM), the US Patent & Trademark Office, and the Defense Technical Information Center archive on archive.org. We present a custom NLP pipeline which uses open source NLP tools to identify the names of chemical compounds and relates them to function words ("underwater", "rocket", "pyrotechnic") and property words ("elastomer", "non-toxic"). After explaining how word embeddings work we compare the utility of two popular word embeddings - word2vec and GloVe. Chemical-chemical and chemical-application relationships are obtained by doing computations with word vectors. We show that word embeddings capture latent information about energetic materials, so that related materials appear close together in the word embedding space.

研究の動機と目的

• エネルギー材料に関する科学文献の急増する量に対処し、実行可能なインサイトを抽出する課題に取り組む。
• ラベルなしデータを前提とし、テキスト内における化学物質同士、化学物質-性質、化学物質-応用関係を自動で同定できる汎用性の高いシステムを開発する。
• 手動ラベル付き学習データが存在しない状況下で、市販のNLPツールおよび事前学習済み単語埋め込みの有効性を評価する。
• 単語埋め込み空間内の意味的類似度が、同一義語や機能的グループ化といった化学的に意味のある関連性を明らかにできることを示す。
• 従来の人的リソースを大量に要するNLPアノテーションに代わる、スケーラブルで低リソースな代替手法を提供する。

提案手法

• 科学的論文、会議録（NTREMを含む）、USPTO特許、DTIC報告書を統合し、大規模でオープンなコーパスを構築した。
• オープンソースのNLPツールを用いて名前付きエンティティ認識（NER）を実行し、テキストから化学物質名を抽出した。
• 共起パターンに基づき、単語を密なベクトル空間に表現するため、word2vecおよびGloVeを用いて単語埋め込みを生成した。
• 単語ベクトル間のコサイン類似度を用いて、意味的に関連する語（例：同一義語や機能的に類似する物質）を同定した。
• ChemDataExtractorおよびSVM分類器を用いて、化学物質認識とエネルギー材料の可能性に基づくフィルタリングを実施し、非化学物質および非エネルギー材料を除外した。
• 応用関連語（例：'rocket'、'air'、'underwater'）をクエリとして入力し、上位類似語の関連性と正確性を分析することで、システムの評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 手動ラベルなしで、事前学習済み単語埋め込みがエネルギー材料間の意味的関係を効果的に捉えられるか。
• RQ2 word2vecおよびGloVe埋め込みは、エネルギー材料の文脈において、化学的同一義語や機能的に関連する化合物をどの程度正確に同定できるか。
• RQ3 埋め込み空間内の意味的類似度が、ロケット燃料やエアバッグに用いられる材料といった、意味的な応用関連性をどの程度明らかにできるか。
• RQ4 化学物質認識およびエネルギー材料の可能性に基づくフィルタリングは、抽出された関係の品質をどの程度向上させるか。
• RQ5 本手法は、特許文書や科学論文など多様なテキストソースに対して、最小限のドメイン特化チューニングで一般化可能か。

主な発見

• word2vecおよびGloVe埋め込みは意味的関係を効果的に捉えており、特にword2vecは、上位5位以内の類似語ランキングで'RDX'と'hexogen'の同一義語をわずかに優れた性能で同定した。
• クエリ'underwater'に対して、システムは'pentolite'および'TBE'（熱バリアック爆発物）を上位類似語として正しく同定し、機能的関連性を示した。
• クエリ'air'では、'argon'および'nitrogen'が高順位にランクされ、実験的エアバッグ材料としての'semicarbazide nitrate'が、関連するエネルギー材料として正しく同定された。
• 文脈解析により、'HoB'（爆発高さ）、'LAG'（液体補助粉砕）、'NOL'（海軍弾薬研究所）といったアコーディングの曖昧性を効果的に解消できた。
• SVM分類器を用いたフィルタリングにより、非エネルギー材料が大幅に除去され、精度が向上した。'pentolite'および'TBE'は上位結果に残留した。
• 本手法は高い汎用性を示し、ラベルなしデータを必要とし、特許文書や会議録など多様なテキストソースにおいても良好な性能を発揮した。