[논문 리뷰] Structure-Preserving Graph Contrastive Learning for Mathematical Information Retrieval

Chun-Hsi Ku, Hung-Hsuan Chen|arXiv (Cornell University)|2026. 03. 09.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

이 논문은 Variable Substitution이라는 도메인 특화 그래프 증강을 도입하여 수학 정보 검색에서 그래프 대조 학습의 성능을 개선하고 일반 증강보다 형식 구조를 보존합니다.

ABSTRACT

This paper introduces Variable Substitution as a domain-specific graph augmentation technique for graph contrastive learning (GCL) in the context of searching for mathematical formulas. Standard GCL augmentation techniques often distort the semantic meaning of mathematical formulas, particularly for small and highly structured graphs. Variable Substitution, on the other hand, preserves the core algebraic relationships and formula structure. To demonstrate the effectiveness of our technique, we apply it to a classic GCL-based retrieval model. Experiments show that this straightforward approach significantly improves retrieval performance compared to generic augmentation strategies. We release the code on GitHub.\footnote{https://github.com/lazywulf/formula_ret_aug}.

연구 동기 및 목표

• MIR에서 작고 고도로 구조화된 수식 그래프에 대한 표준 그래프 증강의 취약성을 다룬다.
• 형식 구조를 보존하면서 표현 가변성을 제공하는 도메인 특화 증강법 Variable Substitution를 제안한다.
• SLT 및 OPT 그래프 표현에 대해 기준선 및 일반 증강보다 개선된 성능을 입증한다.

제안 방법

• 수식을 두 개의 그래프 구조로 변환한다: Symbol Layout Tree (SLT)와 Operator Tree (OPT).
• fastText로 무작위 워크를 사용해 그래프 노드 임베딩을 100차원으로 생성한다.
• Topology를 유지하면서 변수 노드와 숫자 노드를 치환하여 증강 뷰를 만들기 위해 Variable Substitution를 적용한다.
• 그래프 대조 학습을 사용해 원본 뷰와 증강 뷰를 정렬하고 서로 다른 수식을 구분하도록 학습한다.
• 학습된 수식 임베딩을 데이터베이스에 저장해 효율적으로 검색한다.
• 쿼리 수식을 임베딩하고 코사인 유사도를 통해 데이터베이스 수식을 순위화하여 온라인 쿼리를 평가한다.

Figure 1: The online and offline processing of the entire framework; we focus on Graph Contrastive Learning with Variable Substitution in this paper.

실험 결과

연구 질문

• RQ1 Variable Substitution이 MIR에서 표준 증강보다 수식 무결성을 더 잘 보존할 수 있는가?
• RQ2 MIR 검색 작업에서 SLT 및 OPT 표현 간 Variable Substitution의 성능 차이는 어떠한가?
• RQ3 이 방법이 TangentCFT 및 다른 증강 전략에 비해 검색 성능을 개선하는가?

주요 결과

• Variable Substitution은 다른 증강법에 비해 bpref 점수가 우수하며, 특히 SLT의 경우 전체 관련성에서 상위 bpref 0.59, 부분 관련성에서 0.70을 기록한다.
• OPT의 경우 Variable Substitution은 지속적으로 대안을 능가하며 전체 관련성에서 bpref 0.58, 부분 관련성에서 0.70으로 선두를 차지한다.
• 더 큰 배치 크기는 미미한 향상을 주고, 반복 실행 간 결과는 안정적이다(표준 편차가 낮다).
• 이 접근법은 그래프 표현의 두 가지 표본에서 다양한 증강 전략으로 기본 TangentCFT를 능가한다.

(a) The full relevance setting