[논문 리뷰] Syntax-Aware Network for Handwritten Mathematical Expression Recognition

Ye Yuan, Xiao Liu외 5명|arXiv (Cornell University)|2022. 03. 03.

Handwritten Text Recognition Techniques인용 수 5

한 줄 요약

이 논문은 인코더-디코더 프레임워크에 문법 규칙과 구문 인식 주의 메커니즘을 통합한 문법 인식 네트워크(SAN)를 제안한다. LaTeX 시퀀스 생성을 트리 순회 과정으로 모델링함으로써, 복잡한 레이아웃이나 불량한 손글씨로 인한 예측 오류를 줄이고 구조적 정확도를 향상시켜 CROHME와 새로운 대규모 데이터셋인 HME100K에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Handwritten mathematical expression recognition (HMER) is a challenging task that has many potential applications. Recent methods for HMER have achieved outstanding performance with an encoder-decoder architecture. However, these methods adhere to the paradigm that the prediction is made "from one character to another", which inevitably yields prediction errors due to the complicated structures of mathematical expressions or crabbed handwritings. In this paper, we propose a simple and efficient method for HMER, which is the first to incorporate syntax information into an encoder-decoder network. Specifically, we present a set of grammar rules for converting the LaTeX markup sequence of each expression into a parsing tree; then, we model the markup sequence prediction as a tree traverse process with a deep neural network. In this way, the proposed method can effectively describe the syntax context of expressions, alleviating the structure prediction errors of HMER. Experiments on three benchmark datasets demonstrate that our method achieves better recognition performance than prior arts. To further validate the effectiveness of our method, we create a large-scale dataset consisting of 100k handwritten mathematical expression images acquired from ten thousand writers. The source code, new dataset, and pre-trained models of this work will be publicly available.

연구 동기 및 목표

• 복잡한 2차원 레이아웃과 난독성 손글씨로 인해 발생하는 손글씨 수학식 인식(HMER)의 구조 예측 오류 문제를 해결한다.
• 기본적인 이미지-시퀀스 모델이 문법적 관계를 고려하지 않고 기호를 순차적으로 예측하는 데서 비롯되는 한계를 극복한다.
• 문법 규칙과 신경 주의 메커니즘을 활용해 수학식의 계층적 구문 구조를 명시적으로 모델링하는 방법을 개발한다.
• 실제 응용에서의 강건한 평가 및 향후 연구를 지원하기 위해 대규모이고 다양한 HME100K 데이터셋을 구축한다.
• 딥 러닝 아키텍처에 구문 제약 조건을 통합하여 인식 정확도와 추론 효율성을 모두 향상시킨다.

제안 방법

• LaTeX 마크업 시퀀스를 구문 트리로 분해할 수 있는 맞춤형 문법을 정의하여 수학식의 구조적 표현을 가능하게 한다.
• 기호 단위가 아닌 구성 요소 단위로 문법 트리를 순회하는 구문 인식 디코더를 설계하여 문법적 맥락을 유지한다.
• 트리 구조에 기반해 관련 구성 요소에 주의를 집중시키는 구문 인식 주의 메커니즘을 도입하여 관련이 없거나 잘못된 기호에 대한 주의를 줄인다.
• 손글씨 수식 이미지에서 시각적 특징을 추출하기 위해 완전 컨volutional 인코더를 사용하고, 시퀀스 생성을 위해 구문 인식 주의 기반 디코더를 적용한다.
• LaTeX 시퀀스에서 교차 엔트로피 손실을 사용해 엔드 투 엔드 모델을 훈련하고, 생성 품질 향상을 위해 추론 시 빔 서치를 사용한다.
• 비교를 위한 커버리지 주의를 포함하여, 구문 인식 주의가 올바른 구조적 구성 요소에 더 잘 집중하는 것을 입증한다.

실험 결과

연구 질문

• RQ1 신경 인코더-디코더 프레임워크에 명시적인 문법 규칙을 통합하면 HMER 모델의 구조적 정확도가 향상되는가?
• RQ2 문자 단위 예측이 아닌 트리 순회 과정으로 시퀀스 생성을 모델링할 경우, 복잡한 수학식에서 성능 향상이 이루어지는가?
• RQ3 HMER 추론 중에 구문 인식 주의가 표준 커버리지 주의와 비교해 올바른 구성 요소에 더 잘 집중하는가?
• RQ4 제안된 방법이 크기와 복잡도가 다른 데이터셋, 특히 실제 손글씨 데이터에 대해 얼마나 일반화되는가?
• RQ5 HME100K처럼 대규모이고 다양한 데이터셋이 기존 벤치마크를 넘어서 HMER 시스템 평가를 더 견고하게 지원할 수 있는가?

주요 결과

• 제안된 구문 인식 네트워크(SAN)는 CROHME 2014에서 56.2%의 식 인식 정확도를 달성하여 이전 최신 기술 수준의 방법을 초월한다.
• 더 도전적인 CROHME 2016 데이터셋에서 SAN은 53.6%의 정확도를 기록하여, 구문 인식 주의를 사용할 경우 기준 모델 대비 5.1% 향상된 성능을 보였다.
• 최근 도입된 HME100K 데이터셋에서 SAN은 67.1%의 인식 정확도를 달성하여 더 큰 규모이자 더 복잡한 데이터에 대한 강력한 일반화 능력을 입증했다.
• 제거 분석 결과, 문법 구조 통합으로 CROHME 2014에서 정확도가 6.2% 향상되었고, 구문 인식 주의는 추가로 7.1%의 성능 향상을 기록했다.
• HME100K 테스트 세트에서 SAN은 DWAP-TD 대비 3.5배 빠르고, DWAP 대비 2.6% 더 빠르게 동작하여 높은 추론 효율성을 입증했다.
• 정성 분석 결과, 구문 인식 주의는 올바르게 구조적 구성 요소에 집중하는 반면, 커버리지 주의는 종종 여유롭거나 잘못된 부분을 잘못 예측하는 경향을 보였다.