[논문 리뷰] Inter-GPS: Interpretable Geometry Problem Solving with Formal Language and Symbolic Reasoning

Pan Lu, Ran Gong외 5명|arXiv (Cornell University)|2021. 05. 10.

Natural Language Processing Techniques참고 문헌 49인용 수 14

한 줄 요약

이 논문은 3,002개의 SAT 스타일 문제를 포함하는 대규모 공식 주석 처리된 기하 문제 벤치마크인 Geometry3K를 소개하고, 정리된 언어 분석과 정리 기반 조건 규칙을 사용하는 해석 가능한 기하 문제 해결기 Inter-GPS를 제안한다. Inter-GPS는 규칙 기반 텍스트 분석기, 신경망 기반 다이어그램 탐지기, 정리 예측기 등을 조합하여 효율적이고 단계적인 추론을 유도함으로써 Geometry3K에서 78.3%의 정확도를 달성하며, 이는 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Geometry problem solving has attracted much attention in the NLP community recently. The task is challenging as it requires abstract problem understanding and symbolic reasoning with axiomatic knowledge. However, current datasets are either small in scale or not publicly available. Thus, we construct a new large-scale benchmark, Geometry3K, consisting of 3,002 geometry problems with dense annotation in formal language. We further propose a novel geometry solving approach with formal language and symbolic reasoning, called Interpretable Geometry Problem Solver (Inter-GPS). Inter-GPS first parses the problem text and diagram into formal language automatically via rule-based text parsing and neural object detecting, respectively. Unlike implicit learning in existing methods, Inter-GPS incorporates theorem knowledge as conditional rules and performs symbolic reasoning step by step. Also, a theorem predictor is designed to infer the theorem application sequence fed to the symbolic solver for the more efficient and reasonable searching path. Extensive experiments on the Geometry3K and GEOS datasets demonstrate that Inter-GPS achieves significant improvements over existing methods. The project with code and data is available at https://lupantech.github.io/inter-gps.

연구 동기 및 목표

• 기호 추론에 적합한 대규모, 공개 가능하며 밀도 높은 주석 처리된 기하 문제 데이터셋의 부족을 해결하기 위해.
• 암묵적인 신경망 표현에 의존하지 않고 투명하고 해석 가능한 추론 경로를 제공하는 기하 문제 해결기를 개발하기 위해.
• 공식 언어 분석과 상징적 정리 적용을 통합하여 기하 문제 해결의 효율성과 정확도를 향상시키기 위해.
• 구조화된 입력 분석과 규칙 기반 상징적 추론을 융합하여 교육적 수학 추론 분야에서 더 신뢰할 수 있고 설명 가능한 AI 시스템을 가능하게 하기 위해.
• 미래의 해석 가능하고 상징적 추론을 위한 수학 문제 해결 연구를 지원할 수 있는 벤치마크를 구축하기 위해.

제안 방법

• Inter-GPS는 높은 정확도(97%)로 규칙 기반 템플릿을 사용해 자연어 문제 텍스트를 공식 언어로 변환한다;
• 신경망 기반 객체 탐지기를 사용해 다이어그램에서 기하 원소를 추출하고, 이를 공식 언어 기반 기술로 매핑한다;
• 시스템은 기하 관계와 제약 조건을 상징적 추론을 위한 구조화된 공식 문장 집합으로 표현한다;
• 정리 지식은 단계적으로 적용되는 조건 규칙으로 표현되며, 상징적 추론 과정에서 해답을 도출한다;
• 탐색의 효율성을 높이고 계산 비용을 줄이기 위해, 가장 가능성이 높은 정리 적용 순서를 예측하는 정리 예측기를 학습한다;
• ‘예측’과 ‘낮은 우선순위’ 순서를 조합한 하이브리드 탐색 전략을 사용해 가능성이 높은 추론 경로를 우선순위화함으로써 평균 탐색 단계를 7.1로 감소시킨다.

실험 결과

연구 질문

• RQ1 대규모 공식 주석 처리된 기하 문제 데이터셋은 기하 문제 해결에서 기호 추론 모델의 성능과 해석 가능성에 향상 효과를 줄 수 있는가?
• RQ2 텍스트와 다이어그램의 공식 언어 분석은 기하 문제 해결을 위한 투명하고 단계적인 상징적 추론을 어떻게 가능하게 하는가?
• RQ3 정리 예측기가 정리 적용 순서를 안내함으로써 기호 해결기의 효율성과 정확도를 향상시킬 수 있는가?
• RQ4 명시적인 규칙 적용을 통한 상징적 추론은 기하 문제 해결에서 엔드 투 엔드 신경망 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 해석 가능한 상징적 해결기의 주요 실패 원인은 무엇이며, 분석 오류나 완전하지 않은 정리 집합은 성능에 어떤 영향을 미치는가?

주요 결과

• Inter-GPS는 Geometry3K 데이터셋에서 78.3%의 정확도를 달성하며, 이는 이전 최고 성능 방법들보다 뚜렷이 뛰어나다.
• '예측+낮은 우선순위' 탐색 전략은 평균 탐색 단계를 7.1로 감소시켜 효율성을 향상시키면서도 높은 정확도를 유지한다.
• 텍스트와 다이어그램에 대한 지식 기반 공식 주석을 사용할 경우 Inter-GPS의 정확도가 78.3%로 상승함으로써, 고품질의 입력 표현의 중요성을 입증한다.
• 규칙 기반 텍스트 분석기는 97%의 정확도를 기록하지만, 예측된 라이터럴을 사용할 경우 다이어그램 분석기는 57.5%에 그쳐 시각적 분석이 주요 병목 요소임을 보여준다.
• 신경망 기반 기준 모델의 입력을 지식 기반 공식 주석으로 교체할 경우 성능이 9.2% 향상되며, 이는 구조화된 표현 방식이 더 나은 모델 성능을 가능하게 함을 시사한다.
• 실패 사례의 주요 원인은 정확하지 못한 다이어그램 분석, 텍스트 내 모호한 참조, 복잡한 도형이나 칠해진 영역 처리의 한계에 기인한다.