[論文レビュー] Math-KG: Construction and Applications of Mathematical Knowledge Graph

Jianing Wang|arXiv (Cornell University)|May 8, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、BERT+CRFを用いたエンティティ認識およびBERT+Attentionを用いた関係分類の自然言語処理技術を活用し、Baidu BaikeおよびWikipediaから構築されたパイプライン型の数学的知識グラフ、Math-KGを提案する。エンティティ認識では92.62%のF1スコア、関係分類では85.09%のF1スコアを達成し、数学教育分野における障害分析や意味的検索の応用が可能となった。

ABSTRACT

Recently, the explosion of online education platforms makes a success in encouraging us to easily access online education resources. However, most of them ignore the integration of massive unstructured information, which inevitably brings the problem of extit{information overload} and extit{knowledge trek}. In this paper, we proposed a mathematical knowledge graph named Math-KG, which automatically constructed by the pipeline method with the natural language processing technology to integrate the resources of the mathematics. It is built from the corpora of Baidu Baike, Wikipedia. We implement a simple application system to validate the proposed Math-KG can make contributions on a series of scenes, including faults analysis and semantic search. The system is publicly available at GitHub \footnote{\url{https://github.com/wjn1996/Mathematical-Knowledge-Entity-Recognition}.}.

研究の動機と目的

• オンライン数学教育における情報過多と知識の断片化を解消するため、非構造的リソースを統合すること。
• 準構造的および非構造的コーパスから大規模かつ構造的な数学的知識ベースを構築すること。
• 数学分野における知識抽出のための自然言語処理ベースのパイプライン部品のパフォーマンスを評価すること。
• Math-KGの実用的教育的応用、たとえば障害分析や意味的検索の分野での妥当性を検証すること。

提案手法

• コーパス前処理、名前付きエンティティ認識、関係分類、知識統合のパイプラインを用いてMath-KGを構築した。
• ウェブクローラーを用いてBaidu BaikeおよびWikipediaからデータを収集し、カテゴリ、要約、本文、インフォボックス、数式を抽出した。
• spaCyを用いてトークン化、品詞タグ付け、依存構文解析を実施。数学的数式はMathOCRを用いてLaTeXに変換した。
• 6種類の関係タイプ（依存関係、所属関係、同値関係、相反関係、類義語、プロパティ有り）を定義した。
• 8,950件のサンプルを用いてBERT+CRFを訓練し、知識エンティティ認識（KER）で92.62%のF1スコアを達成した。
• 13,365件のサンプルを用いてBERT+Attention+Softmaxを訓練し、エンティティ関係分類（ERC）で85.09%のF1スコアを達成した。

実験結果

リサーチクエスチョン

• RQ1 パイプライン型の自然言語処理アプローチは、非構造的数学テキストから構造的知識を効果的に抽出できるか？
• RQ2 自然言語処理モデルは、中国語および英語の教育的テキストにおいて、数学的エンティティおよびその関係をどれほど正確に特定できるか？
• RQ3 構築された数学的知識グラフは、障害分析や意味的検索といった実用的教育的応用を支援できるか？
• RQ4 リソースが限られた数学的自然言語処理環境におけるエンティティ認識および関係分類のパフォーマンスはいかほどか？

主な発見

• 知識エンティティ認識（KER）モデルはテストセットで92.62%のF1スコアを達成し、数学的エンティティの特定において優れた性能を示した。
• エンティティ関係分類（ERC）モデルは85.09%のF1スコアを達成し、事前に定義された6種類の数学的関係を効果的に認識できた。
• 最終的なMath-KGには1,905個の数学的知識ポイントエンティティと8,019の三元組が含まれており、1,337個の概念エンティティと568個の定理エンティティを含む。
• 関係の分布は、2,016件の依存関係、2,609件の所属関係、76件の同値関係、301件の相反関係、493件の類義語、2,524件の「プロパティ有り」三元組である。
• 障害分析アプリケーションは、関連する知識ポイントのサブグラフを分析することで、生徒の誤りの根本原因を効果的に同定した。
• 意味的検索システムは、TransE埋め込みと類似度スコアリングを用いて、たとえば「三角形」から「外接円の半径」へのマルチホップパスを正しく検索した。