[論文レビュー] MatKG: The Largest Knowledge Graph in Materials Science -- Entities, Relations, and Link Prediction through Graph Representation Learning

Vineeth Venugopal, Sumit Pai+1 more|arXiv (Cornell University)|Oct 31, 2022

Machine Learning in Materials Science被引用数 7

ひとこと要約

MatKG は、400万篇の科学論文から LLM を用いた NER と統計的共起性を用いて自動的に構築された、8万件の材料科学的エンティティと200万件の関係を有する知識グラフである。この知識グラフは、知識グラフ埋め込み（TransE、MRR=0.49）を用いてスケーラブルな知識抽出、エンティティの曻 ambiguity 解消、リンク予測を可能にし、新しい材料-性質-応用関係を発見した。予測上位3件のうち47%が「狭義」の意味的一致（SKOS）として分類された。

ABSTRACT

This paper introduces MatKG, a novel graph database of key concepts in material science spanning the traditional material-structure-property-processing paradigm. MatKG is autonomously generated through transformer-based, large language models and generates pseudo ontological schema through statistical co-occurrence mapping. At present, MatKG contains over 2 million unique relationship triples derived from 80,000 entities. This allows the curated analysis, querying, and visualization of materials knowledge at unique resolution and scale. Further, Knowledge Graph Embedding models are used to learn embedding representations of nodes in the graph which are used for downstream tasks such as link prediction and entity disambiguation. MatKG allows the rapid dissemination and assimilation of data when used as a knowledge base, while enabling the discovery of new relations when trained as an embedding model.

研究の動機と目的

• 材料科学のコアな概念—化学、構造、性質、応用、合成、特性評価—を、材料パラダイム全体にわたって統合する包括的かつ大規模な知識グラフの構築。
• 従来のデータ保存方法や手動によるオントロジー作成の限界を克服し、科学文献からの自律的かつスケーラブルな知識抽出を可能にする。
• 学習済み知識グラフ埋め込みを用いて、リンク予測やエンティティの曻 ambiguity 解消といった下流の AI タスクを実現する。
• 画期的なスケールと解像度で、材料知識の包括的かつクエリ対応の可能な分析を実現する。
• 隠れたまたは暗黙の関係を文献から特定することで、AI 導向の材料設計、自動合成、特性評価を支援する。

提案手法

• 材料特化の微調整済み MatBERT ベースモデルを用いた名前付きエンティティ認識（NER）により、7つのカテゴリ（材料（CHM）、性質（PRO）、応用（APL）、合成（SYN）、特性評価（CMT）、記述子（DSC）、対称性／相（SPL））にまたがる8万件の固有エンティティを抽出。
• エンティティペア間の統計的共起性マッピングにより関係を推定し、頻度とテキスト内距離に基づいて重みを計算し、<主語, 述語, 宾語> の関係三項組を形成。
• 事前に定義された閾値を用いた関係のフィルタリングにより16万件の高信頼性リンクを生成、またはすべての重み付き関係を保持して8万件のエンティティにわたる200万個の三項組を生成。
• 150次元の TransE を用いた知識グラフ埋め込み（KGE）を実施。AmpliGraph ライブラリを用いてテストセット上で訓練および評価し、MRR および hits@1,10,100 の指標を用いて評価。
• 埋め込みベクトルの類似度を用いたエンティティ類似度および共参照解決により、意味的に同等だが表記が異なる用語の曻 ambiguity 解消を実現。
• 訓練済みの KGE モデルを用いたリンク予測により、既存のエンティティ間の新たな妥当な関係を予測し、SKOS を用いた意味的階層（狭義／広義の一致）に基づいて予測を手動で検証。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル駆動の自律的パイプラインは、大規模な科学文献からスケーラブルに材料科学の知識を抽出・構造化できるか？
• RQ2 文献由来の関係から学習された知識グラフ埋め込みは、材料科学分野における正確なリンク予測およびエンティティの曽 ambiguity 解消をどの程度可能にするか？
• RQ3 予測された関係は、実世界の材料文脈において、既存の意味的階層（例：SKOS の狭義／広義関係）とどの程度整合するか？
• RQ4 得られた知識グラフは、材料の構造-性質-処理-応用の関連性を包括的かつクエリ対応で分析するのに適しているか？
• RQ5 この知識グラフは、学習データに明示的に記載されていない新しい妥当な材料応用や性質の発見にどの程度有用か？

主な発見

• MatKG は、8万件の固有エンティティから派生する200万件を超える固有の関係三項組を含み、すべての材料科学のコア分野をカバーする双方向的かつ異種の知識グラフを形成している。
• テストセットにおいて、TransE モデルが最高の MRR（0.49）を達成し、リンク予測やエンティティの曽 ambiguity 解消といった下流タスクにおける最適な KGE であることが示された。
• モデルが予測した上位3件のうち47%が「狭義」の意味的一致（SKOS）として分類され、既存のオントロジー的関係と強い整合性を示した。
• 29%の予測が「広義」の一致として分類され、残りが「その他」となった。これは、モデルが語義的類似性を越えた意味的関係を捉えていることを示している。
• 埋め込みベースの類似度により意味的収束が確認された。例として、「qspr」と「quantitative structure property relationship」の類似度スコアは 0.90 であり、意味的に同等とみなされていることを示している。
• モデルは、ビスマスチルライドなど、以前は空のサブグラフであった材料についても、妥当で意味のあるエンティティをリンク予測により補完し、応用および特性評価サブグラフを豊かにした。