[論文レビュー] Preliminary Exploration of Formula Embedding for Mathematical Information Retrieval: can mathematical formulae be embedded like a natural language?

Liangcai Gao, Zhuoren Jiang+4 more|arXiv (Cornell University)|Jul 17, 2017

Mathematics, Computing, and Information Processing参考文献 8被引用数 23

ひとこと要約

本稿では、神経単語埋め込み技術を数学的記号および数式に適応させることで、数学的情報検索（MIR）のための新しい数式埋め込みアプローチを提案する。『symbol2vec』を導入して数式の構成要素のベクトル表現を学習し、『formula2vec』を用いて全数式の表現を生成することで、テキスト一致と組み合わせた際の検索性能が向上し、神経表現が数学的言語処理において実現可能でかつ有望であることを示している。

ABSTRACT

While neural network approaches are achieving breakthrough performance in the natural language related fields, there have been few similar attempts at mathematical language related tasks. In this study, we explore the potential of applying neural representation techniques to Mathematical Information Retrieval (MIR) tasks. In more detail, we first briefly analyze the characteristic differences between natural language and mathematical language. Then we design a "symbol2vec" method to learn the vector representations of formula symbols (numbers, variables, operators, functions, etc.) Finally, we propose a "formula2vec" based MIR approach and evaluate its performance. Preliminary experiment results show that there is a promising potential for applying formula embedding models to mathematical language representation and MIR tasks.

研究の動機と目的

• 自然言語で成功した神経表現技術が、数学的言語に対しても適用可能かどうかを調査すること。
• 自然言語とは構造的および意味的に異なる数式の表現の課題に対処すること。
• 数学的情報検索（MIR）の性能向上を目的とした数式埋め込みフレームワークの設計および評価すること。
• MIRランク付けにおいて、数式埋め込みがテキスト情報に対して果たす貢献度を評価すること。
• 検索タスクにおいて、数学的記号および数式の分散表現を用いる可能性の検証すること。

提案手法

• 大規模なLaTeX形式の数式コーパスから数学的記号（例：変数、演算子、関数）の『symbol2vec』埋め込みを学習するために、ネガティブサンプリングを用いたCBOWアーキテクチャを適応した。
• 数式を最小で意味を持つ記号に分解するための数式トークナイザーを用い、892種類の異なる記号タイプが得られた。
• 数式内のすべての記号の埋め込みを平均化することで、密なベクトル表現を生成する『formula2vec』を提案した。
• 検索において、数式同士およびクエリとページ間の類似度を計算するためにコサイン類似度をスコア関数として適用した。
• Dirichletスムージングを用いた重み付き融合により、formula2vecスコアと言語モデルスコアを組み合わせた統合ランク付けモデルを開発した。
• ハイパーパrameter α が数式信号とテキスト信号のバランスを制御するように、NTCIR-12 MathIRデータセットを用いて標準的なMIR指標でアプローチを評価した。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みのような神経表現技術が、数学的言語に対しても効果的に適用可能か。
• RQ2 数式埋め込みが数学的情報検索（MIR）タスクの性能を向上させられるか。
• RQ3 MIRにおいて、数式埋め込みは従来のテキスト一致手法と比較してどれほど有効か。
• RQ4 ハイブリッド検索モデルにおいて、数式埋め込みとテキスト情報の最適なバランスは何か。
• RQ5 異なる埋め込み次元数およびハイパーパrameterが検索性能に与える影響は何か。

主な発見

• 『symbol2vec』モデルは、意味的に類似した記号（例：sin, cos, tan）が最近傍に現れるなど、意味的意味を持つ数学的記号のベクトル表現を効果的に学習した。
• 『formula2vec』アプローチは有望な性能を示し、密な数式表現が構造的および意味的関係を捉えることができることを示した。
• formula2vecを言語モデル（LM）と組み合わせた結果、単体での手法よりも顕著に優れた性能を示し、統合手法が全体のMIR性能で最高を記録した。
• 最適な性能が高いα値で達成されたことから、統合モデルにおいてテキスト情報が数式埋め込みよりもより顕著な寄与を示した。
• 埋め込み次元を300まで増加させることで性能が向上したが、以降は増加が止まり、これ以上の次元では利得が小さくなる傾向が示された。
• 一部の記号（例：'+') については文脈が曖昧なため表現に限界が見られたことから、より洗練された文脈モデリングの必要性が示された。