[논문 리뷰] Plane Geometry Diagram Parsing

Mingliang Zhang, Fei Yin외 2명|arXiv (Cornell University)|2022. 05. 19.

Data Visualization and Analytics인용 수 5

한 줄 요약

이 논문은 기하적 및 구조적 사전 지식을 활용한 그래프 신경망(GNN)을 사용하는 평면 기하도형 해석을 위한 엔드 투 엔드 딥러닝 모델인 PGDPNet을 제안한다. 이 모델은 기하 도형 원소 추출을 위한 수정된 인스턴스 세그멘테이션 모듈과 관계 추론을 위한 GNN을 결합한다. 제안된 방법은 PGDP5K와 IMP-Geometry3K에서 최신 기준 성능(SOTA)을 달성하여 기하 도형 원소 검출, 관계 해석, 기하 형식 언어 생성 모두에서 뚜렷한 향상을 이룬다.

ABSTRACT

Geometry diagram parsing plays a key role in geometry problem solving, wherein the primitive extraction and relation parsing remain challenging due to the complex layout and between-primitive relationship. In this paper, we propose a powerful diagram parser based on deep learning and graph reasoning. Specifically, a modified instance segmentation method is proposed to extract geometric primitives, and the graph neural network (GNN) is leveraged to realize relation parsing and primitive classification incorporating geometric features and prior knowledge. All the modules are integrated into an end-to-end model called PGDPNet to perform all the sub-tasks simultaneously. In addition, we build a new large-scale geometry diagram dataset named PGDP5K with primitive level annotations. Experiments on PGDP5K and an existing dataset IMP-Geometry3K show that our model outperforms state-of-the-art methods in four sub-tasks remarkably. Our code, dataset and appendix material are available at https://github.com/mingliangzhang2018/PGDP.

연구 동기 및 목표

• 복잡하고 혼잡한 평면 기하도형에서 정확한 기하 도형 원소 추출 및 관계 해석의 과제를 해결한다.
• 레이아웃 복잡성과 도형 원소 간 간섭으로 인해 실패하는 기존 방법(예: Hough 변환 및 규칙 기반 시스템)의 한계를 극복한다.
• 기하 도형 문제 해결의 향상을 위해 기하 도형 원소 검출, 분류 및 관계 추론을 공동 최적화하는 엔드 투 엔드 프레임워크를 개발한다.
• 향후 기하도형 해석 연구를 지원하기 위해 대규모이고 세밀한 레이블이 부여된 데이터셋(PGDP5K)을 구축한다.
• 기하 사전 지식을 GNN 기반 추론 모듈에 통합하여 구조적 및 의미적 관계 예측 성능을 향상시킨다.

제안 방법

• 기하 도형 원소의 픽셀 수준 인스턴스 세그멘테이션을 수행하기 위해 의미 세그멘테이션 브랜치와 세그멘테이션 임베딩 브랜치를 갖춘 이중 브랜치 네트워크를 사용하는 기하 세그멘테이션 모듈(GSM)을 제안한다.
• 도형 해석 작업을 이질적 시나리오 그래프 생성(SGG) 문제로 모델링하며, 기하 도형 원소는 노드, 관계는 다중 간선을 지원하는 간선이 된다.
• 시각적, 공간적, 구조적 특징을 통합하여 기하 도형 원소 간 관계를 예측하고 텍스트 콘텐츠를 분류하는 그래프 신경망(GM) 모듈을 설계한다.
• GSM과 GM을 통합하여 기하 도형 원소 추출과 관계 추론을 공동 최적화하는 엔드 투 엔드 학습 가능한 모델인 PGDPNet을 구성한다.
• 기하 사전 지식을 구조적 메시지 전파와 공간 인코딩을 통해 GNN에 통합하여 공간 관계 추론 성능을 향상시킨다.
• 기하 도형 원소와 관계에 대해 인스턴스 수준의 레이블이 부여된 새로 구축한 PGDP5K 데이터셋을 기반으로 전체 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 접근법이 복잡하고 겹치는 도형에서 기하 도형 원소를 기존 방법보다 뛰어나게 추출할 수 있는가?
• RQ2 그래프 신경망이 평면 기하도형에서 이질적 노드 유형과 다중 간선 관계를 효과적으로 모델링할 수 있는가?
• RQ3 기하 사전 지식을 통합할 경우 도형 해석에서 관계 추론 성능이 얼마나 향상되는가?
• RQ4 기하 도형 원소 검출과 관계 추론을 엔드 투 엔드로 훈련할 경우, 파이프라인 기반 접근법 대비 전체 해석 성능에 어떤 영향을 미치는가?
• RQ5 PGDP5K와 같은 대규모이고 세밀한 레이블이 부여된 데이터셋이 평면 기하도형 해석 분야의 발전을 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• PGDP5K와 IMP-Geometry3K에서 InterGPS 대비 기하 형식 언어 생성의 'Totally Same' 지표에서 각각 57.2%와 57.4% 향상된 성과를 기록한다.
• 기본 모델에서 GNN을 제거한 경우 대비 PGDP5K와 IMP-Geometry3K에서 비기하원소-기하원소 관계 추론 성능이 각각 11.0%와 6.5% 향상된다.
• InterGPS 문제 해결기에서 PGDPNet을 사용할 경우, 기존 InterGPS의 파서를 사용할 때 57.5%였던 정확도가 74.1%로 상승하여 상대적 향상률 16.6%를 기록한다.
• IMP-Geometry3K 데이터셋에서 PGDPNet은 All 관계 유형에서 'Likely Same' 99.17%와 'Totally Same' 91.51%의 성능을 기록하여 이전 방법들을 능가한다.
• 다양한 도형 레이아웃과 기하 도형 원소 유형에 걸쳐 높은 재현율과 정밀도를 보이며 원소 검출 및 관계 해석에 뛰어난 강건성을 보였다.
• 실패 케이스 분석을 통해 시각적 신호에만 의존할 경우 텍스트 레이블을 잘못 분류하는 경향(예: 각도 레이블을 반지름으로 오인)이 나타나, 향후 연구에서는 텍스트 의미 정보 통합이 필요함을 시사한다.