[논문 리뷰] Recognizing Handwritten Mathematical Expressions as LaTex Sequences Using a Multiscale Robust Neural Network

Hongyu Wang, Guangcun Shan|arXiv (Cornell University)|2020. 02. 26.

Handwritten Text Recognition Techniques참고 문헌 21인용 수 8

한 줄 요약

이 논문은 수작업으로 쓴 수식을 인식하고 LaTeX 시퀀스로 변환하기 위한 다중 척도 강건한 신경망을 제안한다. 계층적 특징 추출과 시각화를 활용하여 모델은 구조적 이해와 기호 인식을 향상시키며, CROHME 2014 및 2016 데이터셋에서 각각 49.459%와 46.062%의 식 정확도를 달성하여 이전 방법에 비해 향상된 강건성과 정확도를 입증한다.

ABSTRACT

In this paper, a robust multiscale neural network is proposed to recognize handwritten mathematical expressions and output LaTeX sequences, which can effectively and correctly focus on where each step of output should be concerned and has a positive effect on analyzing the two-dimensional structure of handwritten mathematical expressions and identifying different mathematical symbols in a long expression. With the addition of visualization, the model's recognition process is shown in detail. In addition, our model achieved 49.459% and 46.062% ExpRate on the public CROHME 2014 and CROHME 2016 datasets. The present model results suggest that the state-of-the-art model has better robustness, fewer errors, and higher accuracy.

연구 동기 및 목표

• 수식의 2차원 구조적 복잡성을 모델링하여 수작업 수식 인식을 향상시키기 위해.
• 의미 해석과 렌더링을 위해 의미론적 출력으로 정확한 LaTeX 시퀀스를 생성하기 위해.
• 긴 복잡한 수식에서 오류를 줄이고 모델의 강건성을 향상시키기 위해.
• 인식 과정의 시각화를 통해 해석 가능성 제공하기 위해.
• CROHME 2014 및 CROHME 2016와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능 달성하기 위해.

제안 방법

• 다양한 수신장 크기를 갖는 특징을 캡처하기 위해 다중 척도 컨볼루션 신경망을 설계하여 더 나은 구조적 이해를 확보한다.
• 2차원 수식 내의 공간적 관계를 모델링하기 위해 계층적 특징 추출 메커니즘을 적용한다.
• LaTeX 토큰을 단계적으로 출력하기 위해 순차 생성 헤드를 통합하여 구조적 순차 예측을 가능하게 한다.
• 추론 중 주의 및 예측 동역학을 해석하기 위해 시각화 기법을 적용한다.
• 지식 기반 LaTeX 시퀀스를 사용하여 지도 학습으로 CROHME 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 긴 시퀀스에서 오류 전파를 최소화하고 일반화 성능을 향상시키기 위해 강건한 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 다중 척도 신경망은 수작업 수식의 2차원 공간적 구조를 효과적으로 모델링할 수 있는가?
• RQ2 계층적 특징 학습은 수작업 입력에서 LaTeX 시퀀스 생성 정확도를 어떻게 향상시키는가?
• RQ3 시각화 기법은 수식 인식에서의 해석 가능성과 오류 분석에 어느 정도 기여하는가?
• RQ4 기존 방법에 비해 표준 벤치마크에서 제안된 모델이 어떤 성능 향상을 달성하는가?
• RQ5 수식의 복잡성과 수기 스타일의 다양성에 대해 모델은 얼마나 강건한가?

주요 결과

• 모델은 CROHME 2014 데이터셋에서 49.459%의 식 정확도를 달성하여 강건성과 정확도 향상이 뚜렷하게 나타난다.
• CROHME 2016 데이터셋에서는 46.062%의 식 정확도를 기록하여 다양한 데이터셋 간의 강력한 일반화 능력을 입증한다.
• 인식 과정의 시각화 결과, 모델이 관련 영역과 기호 경계에 효과적으로 집중하고 있음을 확인할 수 있다.
• 다중 척도 아키텍처는 복잡한 수식 내에서 다양한 기호 크기와 공간 배치를 더 잘 처리할 수 있도록 한다.
• 구조적 순차 예측을 통해 오류 전파를 줄여 더 적은 잘못된 LaTeX 출력을 유도한다.
• 결과적으로 제안된 방법이 정확도와 강건성 측면에서 이전 최신 기술 수준의 모델을 초월함을 확인한다.