[논문 리뷰] Stroke Constrained Attention Network for Online Handwritten Mathematical Expression Recognition

Jiaming Wang, Jun Du외 1명|arXiv (Cornell University)|2020. 02. 20.

Handwritten Text Recognition Techniques참고 문헌 49인용 수 6

한 줄 요약

이 논문은 온라인 수기 수식 인식을 위한 새로운 인코더-디코더 프레임워크인 스트로크 제약 주의망(SCAN)을 제안한다. 이는 스트로크를 특징 표현과 주의 정렬의 기본 단위로 간주한다. 온라인(트레이스 기반) 및 오프라인(이미지 기반) 모odalities의 스트로크 수준 특징을 활용함으로써, 주의 정렬을 향상시키고 디코딩 속도를 높이며, 다중 모odal 정보의 조기 융합을 가능하게 한다. CROHME 벤치마크에서 57.20%의 수식 정확도와 73.94%의 구조적 정확도로 최신 기술 수준을 달성한다.

ABSTRACT

In this paper, we propose a novel stroke constrained attention network (SCAN) which treats stroke as the basic unit for encoder-decoder based online handwritten mathematical expression recognition (HMER). Unlike previous methods which use trace points or image pixels as basic units, SCAN makes full use of stroke-level information for better alignment and representation. The proposed SCAN can be adopted in both single-modal (online or offline) and multi-modal HMER. For single-modal HMER, SCAN first employs a CNN-GRU encoder to extract point-level features from input traces in online mode and employs a CNN encoder to extract pixel-level features from input images in offline mode, then use stroke constrained information to convert them into online and offline stroke-level features. Using stroke-level features can explicitly group points or pixels belonging to the same stroke, therefore reduces the difficulty of symbol segmentation and recognition via the decoder with attention mechanism. For multi-modal HMER, other than fusing multi-modal information in decoder, SCAN can also fuse multi-modal information in encoder by utilizing the stroke based alignments between online and offline modalities. The encoder fusion is a better way for combining multi-modal information as it implements the information interaction one step before the decoder fusion so that the advantages of multiple modalities can be exploited earlier and more adequately when training the encoder-decoder model. Evaluated on a benchmark published by CROHME competition, the proposed SCAN achieves the state-of-the-art performance.

연구 동기 및 목표

• 트레이스 포인트 또는 이미지 픽셀과 같은 저수준 특징에 의존함으로써 HMER에서 주의 기반 기호 분할이 정확하지 못한 문제를 해결하기 위해.
• 펜 다운/업 동작의 자연스러운 그룹인 스트로크를 인코더-디코더 모델의 기본 단위로 간주함으로써 인식 성능 향상과 디코딩 효율성 향상을 위해.
• 디코딩 이전에 온라인 및 오프라인 모달리티를 스트로크 수준에서 정렬함으로써 HMER에서 더 효과적인 다중 모달 융합을 가능하게 하기 위해.
• 온라인 HMER에서 지연되거나 순서가 어긋난 스트로크의 문제를 해결하기 위해 오프라인 이미지의 전역적 맥락을 활용하기 위해.

제안 방법

• 온라인 모달리티를 위해 CNN-GRU 인코더를 사용하여 트레이스 시퀀스에서 점 수준 특징을 추출하고, 이를 스트로크 제약을 통해 스트로크 수준 특징으로 변환한다.
• 오프라인 모달리티의 경우, CNN 인코더를 사용하여 정적 이미지에서 픽셀 수준 특징을 추출하고, 동일하게 스트로크 수준 표현으로 변환한다.
• 디코더는 스트로크 수준 특징에서 작동하는 주의 메커니즘을 사용하여 더 정확하고 안정적인 기호 분할 및 인식을 가능하게 한다.
• 다중 모달 설정에서는 스트로크 기반 정렬을 통해 인코더 수준에서 온라인 및 오프라인 특징을 융합하여, 더 이른 시점에서 더 효과적인 정보 상호작용을 가능하게 한다.
• 이 방법은 스트로크 수준 표현을 활용하여 정렬을 향상시키고 디코딩 중 처리하는 토큰 수를 줄이는 데 기여하는 새로운 주의 메커니즘을 도입한다.
• 프레임워크는 엔드 투 엔드 훈련 및 추론을 지원하는 단일 모달(온라인/오프라인) 및 다중 모달 HMER를 모두 지원한다.

실험 결과

연구 질문

• RQ1 HMER에서 스트로크를 기본 단위로 간주함으로써 주의 정렬과 인식 정확도를 향상시킬 수 있는가?
• RQ2 점/픽셀 수준 특징 대신 스트로크 수준 특징을 사용함으로써 디코딩의 계산 비용을 줄일 수 있는가?
• RQ3 스트로크 기반 정렬을 통한 온라인 및 오프라인 모달리티의 조기 융합이 후기 융합이나 별도의 모달리티 처리보다 우월한가?
• RQ4 모델은 온라인 수기에서 지연되거나 순서가 어긋난 스트로크와 같은 어려운 경우를 어떻게 다루는가?
• RQ5 스트로크 수준 표현은 모호하거나 비표준적인 작성 순서에 대해 HMER의 강인성을 얼마나 향상시키는가?

주요 결과

• SCAN은 CROHME 2014 벤치마크에서 57.20%의 최신 기술 수준 수식 정확도와 73.94%의 구조적 정확도를 달성하여 이전 방법들을 능가했다.
• E-MAN 시스템 대비 테스트 시간을 50% 감소시켜, 더 높은 정확도에도 불구하고 오프라인 WAP 시스템보다 빠른 추론 속도를 달성했다.
• 주의 시각화 결과, MMSCAN-E(조기 융합)는 지연된 스트로크 처리에서 MMSCAN-D(후기 융합)보다 더 일관되고 정확한 주의 정렬을 생성했다.
• 스트로크 수는 트레이스 포인트 수나 이미지 픽셀 수보다 크게 적어, 주의 메커니즘에서의 디코딩 속도 향상과 계산 비용 감소에 기여한다.
• MMSCAN-E의 인코더 수준 융합은 오프라인 이미지의 전역 맥락을 활용하여 지연된 스트로크 문제를 성공적으로 해결했고, 반면 MMSCAN-D는 모달리티 간 일관성 없는 주의로 실패했다.
• 스트로크 제약 특징 변환은 특징 표현을 향상시켜 디코더에서 기호 분할 및 인식의 어려움을 줄였다.