[論文レビュー] Equation Embeddings

Kriste Krstovski, David M. Blei|arXiv (Cornell University)|Mar 24, 2018

Mathematics, Computing, and Information Processing参考文献 13被引用数 4

ひとこと要約

本稿では、周囲の語の文脈の中で方程式を単一のエンティティとしてモデル化することにより、分散表現を学ぶ非教師あり手法である方程式埋め込み（EqEmb）を紹介する。語-方程式文脈ウィンドウと指数型分布族埋め込みを活用することで、従来の語埋め込みモデルに比べ、方程式と語の間の意味的類似性をよりよく捉えることができ、4つのCS分野において定量的および定性的な評価で優れた性能を示した。

ABSTRACT

We present an unsupervised approach for discovering semantic representations of mathematical equations. Equations are challenging to analyze because each is unique, or nearly unique. Our method, which we call equation embeddings, finds good representations of equations by using the representations of their surrounding words. We used equation embeddings to analyze four collections of scientific articles from the arXiv, covering four computer science domains (NLP, IR, AI, and ML) and $\sim$98.5k equations. Quantitatively, we found that equation embeddings provide better models when compared to existing word embedding approaches. Qualitatively, we found that equation embeddings provide coherent semantic representations of equations and can capture semantic similarity to other equations and to words.

研究の動機と目的

• 数学的方程式は通常一意で、モデル化が難しいため、意味的な表現を学ぶ非教師ありアプローチを開発すること。
• 方程式の一意性の課題に対処するため、方程式を広い文脈内の単一語として扱うこと。
• 方程式を分散表現フレームワークに統合することで、科学的文献解析におけるモデリング効率と意味的整合性を向上させること。
• 学習された埋め込みを用いて、方程式同士および方程式と語の間の意味的類似性検出を可能にすること。

提案手法

• EqEmbは、方程式を一度しか出現しない単一のエンティティとしてモデル化し、周囲のテキスト的文脈を用いて意味的表現を推定する。
• 指数型分布族埋め込み（特にベルヌーイ埋め込み）を拡張し、方程式を観測値として扱い、独自の埋め込みベクトルと文脈ベクトルを有するようにする。
• 二重の文脈ウィンドウ（語の文脈ウィンドウ（サイズ4〜16）と語-方程式の文脈ウィンドウ（サイズ8〜16））を用いて、語レベルおよび方程式レベルの共起パターンを捉える。
• 方程式単位（変数、記号、演算子）を方程式内での離散的要素としてモデル化し、方程式構文の構造的表現を可能にする。
• ネガティブサンプリングを用いた擬似対数尤度最適化により、方程式が与えられたときの文脈語の条件付き尤度、および逆に文脈語が与えられたときの方程式の条件付き尤度を最大化するように勾配降下法で埋め込みを更新する。
• EqEmb-Uは、方程式を単位の系列としてモデル化することで、語と方程式の両方のコンテキストをより豊かに捉えることができ、性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 周囲のテキスト的文脈を用いて、方程式を単一のエンティティとして効果的に表現し、意味的な埋め込みを学習できるか？
• RQ2 従来の語埋め込みモデル（例：CBOW、GloVe、PV-DM）と比較して、EqEmbは方程式と語の間の意味的類似性モデリングでどのように性能を発揮するか？
• RQ3 EqEmbは、同じ分野内の他の方程式との意味的関係（例：類似性）を捉えることができるか？
• RQ4 変数、記号、演算子などの単位の系列として方程式をモデル化することで、学習された表現の質が向上するか？

主な発見

• EqEmbは、すべての4つのarXiv収録（NLP、IR、AI、ML）において、従来の語埋め込みモデル（CBOW、GloVe、PV-DM、b-emb）に比して、擬似対数尤度評価で優れた性能を示した。
• 方程式を単位の系列としてモデル化するEqEmb-Uは、ベースとなるEqEmbモデルに比べてさらなる性能向上を達成した。
• モデルは意味的に関連する方程式と語を効果的に検索できる：与えられた方程式に対して、埋め込み空間における最近傍の5語は意味的に関連している（例：'neural network'、'layer'、'forward pass'）。
• クエリとしての方程式に対して、EqEmb-Uは意味的に類似した方程式（例：他のニューラルネットワークのレイヤー定式化）を5つ検索でき、意味的クラスタリングが一貫していることを示した。
• 定性的分析により、EqEmbは、アテンション機構やバックプロパゲーションに関連する方程式を識別するなど、方程式間の意味的関係を的確に捉えていることが確認された。
• 自然言語クエリを用いた方程式検索が効果的に可能である：語のクエリは、埋め込み空間におけるコサイン類似度を用いて関連する方程式を返すことができる。