[論文レビュー] Structure-Preserving Graph Contrastive Learning for Mathematical Information Retrieval

Chun-Hsi Ku, Hung-Hsuan Chen|arXiv (Cornell University)|Mar 9, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

本論文はVariable Substitutionを導入し、数学情報検索（MIR）のためのドメイン特化型グラフ拡張を提案。式の構造を保持しつつ表現バリアンスを提供し、汎用拡張より検索性能を向上させる。

ABSTRACT

This paper introduces Variable Substitution as a domain-specific graph augmentation technique for graph contrastive learning (GCL) in the context of searching for mathematical formulas. Standard GCL augmentation techniques often distort the semantic meaning of mathematical formulas, particularly for small and highly structured graphs. Variable Substitution, on the other hand, preserves the core algebraic relationships and formula structure. To demonstrate the effectiveness of our technique, we apply it to a classic GCL-based retrieval model. Experiments show that this straightforward approach significantly improves retrieval performance compared to generic augmentation strategies. We release the code on GitHub.\footnote{https://github.com/lazywulf/formula_ret_aug}.

研究の動機と目的

• 小規模で高度に構造化された式グラフを対象とした標準的なグラフ拡張の脆弱性に対処する。
• 式の構造を保持しつつ表現の分散を提供するドメイン特化型拡張としてVariable Substitutionを提案する。
• SLTおよびOPTのグラフ表現でベースラインおよび汎用拡張に対して改善を実証する。

提案手法

• 式を二つのグラフ構造に変換する：Symbol Layout Tree (SLT) と Operator Tree (OPT)。
• fastTextを用いたノード埋め込みとランダムウォークで100次元ノード埋め込みを生成する。
• Topologyを保ちながら変数ノードおよび数値ノードを置換して拡張ビューを作成するVariable Substitutionを適用する。
• グラフ対比学習を用いて元のビューと拡張ビューを整合させ、異なる式を分離する。
• 学習済みの式埋め込みをデータベースに格納して効率的な検索を行う。
• クエリ式を埋め込み、コサイン類似度でデータベース式をランキングしてオンラインクエリを評価する。

Figure 1: The online and offline processing of the entire framework; we focus on Graph Contrastive Learning with Variable Substitution in this paper.

実験結果

リサーチクエスチョン

• RQ1 Variable Substitutionは MIRにおける標準的拡張より式の完全性をより良く保持できるか。
• RQ2 MIR検索タスクにおいてSLTとOPT表現の間でVariable Substitutionはどのように性能を発揮するか。
• RQ3 この手法はTangenteCFTや他の拡張戦略に対して検索性能を改善するか。

主な発見

• Variable Substitutionは他の拡張より bpref スコアが優れており、特にSLTでは完全関連時0.59、部分関連時0.70のトップbprefを達成。
• OPTではVariable Substitutionが一貫して他の選択肢を上回り、完全関連時0.58のbprefを達成し、部分関連時には0.70でリード。
• 大きなバッチサイズは僅かな改善をもたらす程度で、再現性は標準偏差が小さく安定している。
• 本手法は両方のグラフ表現において、様々な拡張戦略を用いた基準のTangCFTを上回る。

(a) The full relevance setting