[논문 리뷰] A GRU-based Encoder-Decoder Approach with Attention for Online Handwritten Mathematical Expression Recognition

Jianshu Zhang, Jun Du외 1명|arXiv (Cornell University)|2017. 12. 04.

Handwritten Text Recognition Techniques참고 문헌 27인용 수 12

한 줄 요약

이 논문은 궤적 시퀀스를 활용하여 기호 인식과 구조 분석을 동시에 수행하는 엔드 투 엔드 GRU 기반 인코더-디코더 모델을 제안한다. 이는 커버리지 기반 어텐션을 사용하여 온라인 수기 수식 인식(OHMER)을 위한 것으로, 공식 훈련 데이터만을 사용하여 CROHME 2014 벤치마크에서 52.43%의 수식 인식 정확도를 달성한다. 이는 어텐션 메커니즘을 통해 공간 관계와 분할을 자동으로 학습함으로써 이전 최고 성능 방법들을 능가한다.

ABSTRACT

In this study, we present a novel end-to-end approach based on the encoder-decoder framework with the attention mechanism for online handwritten mathematical expression recognition (OHMER). First, the input two-dimensional ink trajectory information of handwritten expression is encoded via the gated recurrent unit based recurrent neural network (GRU-RNN). Then the decoder is also implemented by the GRU-RNN with a coverage-based attention model. The proposed approach can simultaneously accomplish the symbol recognition and structural analysis to output a character sequence in LaTeX format. Validated on the CROHME 2014 competition task, our approach significantly outperforms the state-of-the-art with an expression recognition accuracy of 52.43% by only using the official training dataset. Furthermore, the alignments between the input trajectories of handwritten expressions and the output LaTeX sequences are visualized by the attention mechanism to show the effectiveness of the proposed method.

연구 동기 및 목표

• 명시적 분할과 사전 정의된 문법에 의존하는 순차적 및 글로벌 OHMER 방법의 한계를 해결하기 위해.
• 수학적 문법에 대한 사전 지식 없이 기호 인식, 분할, 구조 분석을 동시에 수행하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• GRU-RNN 인코더와 커버리지 기반 어テン션 디코더를 통해 온라인 궤적 데이터를 활용하여 인식 정확도를 향상시키기 위해.
• 어텐션 정렬을 시각화하여 수기 수식에서 직관적인 공간 관계를 모델이 어떻게 학습하는지 보여주기 위해.

제안 방법

• 인코더는 양방향 GRU 스택을 사용하여 2차원 궤적 점들을 고수준 표현으로 인코딩하며, 공간적 및 순차적 맥락을 포착한다.
• 디코더는 단방향 GRU와 커버리지 기반 어텐션 메커니즘을 사용하여 LaTeX 형식의 출력 토큰을 하나씩 생성한다.
• 어텐션 메커니즘은 관련된 입력 궤적 세그먼트에 동적으로 주목하여, 슈퍼스크립트, 서브스크립트, 수평/수직 정렬과 같은 상호 관계를 암묵적으로 학습한다.
• 커버리지 메커니즘은 이전에 주목한 영역를 추적하여 중복 어텐션을 방지하고 정렬 안정성을 향상시킨다.
• 모델은 기호 인식과 구조 분석을 동시에 최적화하는 단일 미분 가능한 프레임워크에서 공동으로 훈련된다.
• 입력 궤적 전처리 과정은 원시 (x, y, 타임스탬프) 점들로부터 기능을 추출하여 RNN용 입력 시퀀스를 구성한다.

실험 결과

연구 질문

• RQ1 명시적 분할이나 사전 정의된 문법 없이도 엔드 투 엔드 어텐션 기반 인코더-디코더 모델이 온라인 수기 수식을 효과적으로 인식할 수 있는가?
• RQ2 어텐션 메커니즘이 슈퍼스크립트, 서브스크립트, 분수와 같은 복잡한 2차원 공간 관계를 얼마나 잘 학습하고 표현할 수 있는가?
• RQ3 표준 어텐션과 비교할 때 커버리지 기반 어텐션 메커니즘이 인식 성능 향상과 정렬 해석 가능성 향상에 기여하는가?
• RQ4 모델의 어텐션 시각화 결과가 인간의 직관과 얼마나 잘 일치하는가? 특히 기호 및 구조의 국소화 측면에서.
• RQ5 공식 훈련 데이터만을 사용할 때, 제안된 방법이 최고 성능 OHMER 시스템들과 비교해 인식 정확도에서 얼마나 우수한가?

주요 결과

• 제안된 모델은 CROHME 2014 테스트 세트에서 52.43%의 수식 인식 정확도를 달성하였으며, 이는 공식 훈련 데이터만을 사용함에도 불구하고 이전 최고 성능 방법들을 크게 능가한다.
• 어텐션 메커니즘이 입력 궤적 세그먼트와 출력 LaTeX 토큰 간의 정렬을 성공적으로 학습하였으며, 시각화 결과에서는 기저 기호의 시작/끝 영역, 슈퍼스크립트/서브스크립트 영역 등 관련 영역에 주목하는 경향을 보였다.
• 모델는 사전 정의된 문법이나 규칙 기반 파싱에 의존하지 않고도 자동으로 기호 분할과 구조 분석을 수행한다.
• 커버리지 기반 어텐션 메커니즘이 어텐션 안정성을 향상시키고 중복 어텐션을 감소시켜 성능 향상에 기여한다.
• 오류 분석 결과, 과다 번역 오류는 주로 한 개의 기호가 두 개로 분할된 경우(예: 단일 기호가 두 개로 나누어진 경우)에 발생하며, 부족 번역 오류는 중요한 스토리(예: 마이너스 기호)가 반대로 쓰여질 때 자주 발생한다.
• 모델는 슈퍼스크립트 관계를 탐지한 후 올바르게 LaTeX 중괄호를 생성함으로써 암묵적으로 문법적 구조를 학습할 수 있음을 보여준다.