[논문 리뷰] End-to-End Information Extraction by Character-Level Embedding and Multi-Stage Attentional U-Net

Tuan Anh Dang, Dat Nguyen|arXiv (Cornell University)|2021. 06. 02.

Handwritten Text Recognition Techniques인용 수 11

한 줄 요약

이 논문은 2차원 문자 격자 임베딩을 사용하여 문서 이미지 정보 추출을 위한 새로운 엔드 투 엔드 딥러닝 아키텍처인 다중 단계 주의 U-Net(MSAU)을 제안한다. 다중 단계 인코더-디코더, 자기 주의 메커니즘, 박스 컨볼루션을 통합함으로써 MSAU는 기준 U-Net 대비 6.5% 높은 87.2% mIOU를 일본어 청구서 데이터셋에서 달성하였으며, 파라미터 수는 40% 줄였고, 저자료 및 고OCR 오류 조건에서도 강건성을 보였다.

ABSTRACT

Information extraction from document images has received a lot of attention recently, due to the need for digitizing a large volume of unstructured documents such as invoices, receipts, bank transfers, etc. In this paper, we propose a novel deep learning architecture for end-to-end information extraction on the 2D character-grid embedding of the document, namely the extit{Multi-Stage Attentional U-Net}. To effectively capture the textual and spatial relations between 2D elements, our model leverages a specialized multi-stage encoder-decoders design, in conjunction with efficient uses of the self-attention mechanism and the box convolution. Experimental results on different datasets show that our model outperforms the baseline U-Net architecture by a large margin while using 40\% fewer parameters. Moreover, it also significantly improved the baseline in erroneous OCR and limited training data scenario, thus becomes practical for real-world applications.

연구 동기 및 목표

• 변동형 포맷과 복잡한 레이아웃을 가진 문서를 다루는 데에 한계가 있는 템플릿 기반 및 히وري스틱 방법의 문제를 해결하기 위해.
• 텍스트 및 공간적 특징을 모두 캡처하는 2차원 문자 격자 표현을 활용하여 문서 이미지에서의 엔드 투 엔드 정보 추출을 향상시키기 위해.
• 실제 도입에 있어 중요한 저자료 및 고OCR 오류 조건에 강건한 딥러닝 모델을 설계하기 위해.
• 다중 단계 학습 프레임워크를 통해 텍스트 및 공간적 추론을 분리함으로써 특징 학습을 향상시키기 위해.
• 자기 주의, 박스 컨볼루션, 다중 단계 학습이 복잡한 문서 레이아웃을 모델링하는 데 효과적인지 검증하기 위해.

제안 방법

• 모델은 문서 이미지의 2차원 문자 격자 표현을 사용하여 국소적 무늬와 전반적인 공간적 구조를 모두 캡처한다.
• 다중 단계 인코더-디코더 아키텍처는 초기 단계에서 텍스트 특징 학습을, 후속 단계에서 공간적 관계 모델링을 분리한다.
• 자기 주의 메커니즘은 문자 격자 내 공간적 위치 간의 장거리 의존성을 포착하기 위해 적용된다.
• 박스 컨볼루션 레이어는 공간적으로 구조화된 필터를 학습시켜 수용 영역을 확장함으로써 레이아웃 패턴에 대한 공간적 추론을 향상시킨다.
• 보조 손실을 사용하는 다중 작업 학습 체계를 통해 중간 레이어를 감독함으로써 특징 학습과 일반화 능력을 향상시킨다.
• 데이터 증강 및 엔드 투 엔드 미분 가능한 학습을 통해 애너테이션된 문서 데이터로부터의 감독 하에 모든 구성 요소를 공동 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 표준 U-Net에 비해 다중 단계 인코더-디코더 아키텍처가 문서 수준의 정보 추출 성능 향상에 기여하는가?
• RQ2 자기 주의와 박스 컨볼루션은 2차원 문자 격자에서 장거리 공간적 및 텍스트적 의존성을 모델링하는 데 얼마나 효과적인가?
• RQ3 보조 감독을 통한 다중 단계 학습이 저자료 및 고OCR 오류 조건에서 모델 일반화 능력을 향상시키는가?
• RQ4 성능 향상에 기여하는 구성 요소의 추상화 분석(예: 주의, 박스 컨볼루션)은 복잡한 레이아웃에서 얼마나 기여하는가?
• RQ5 더 작은 파라미터 수를 가진 모델이 실제 문서 정보 추출 시나리오에서 U-Net과 같은 더 큰 기준 모델을 능가할 수 있는가?

주요 결과

• 제안된 MSAU 모델은 일본어 청구서 데이터셋에서 87.2% mIOU를 달성하여 기준 U-Net 대비 6.5% 향상되었다.
• MSAU는 파라미터 수를 40% 줄였음에도 불구하고 F1 점수에서 기준 U-Net 대비 8.2% 높은 96.0 대 87.3을 기록하였다.
• 다중 단계 학습의 추가로 mIOU가 CUNet+NL+BC 설정 대비 3% 향상되어 특징 분리의 효과를 입증하였다.
• 박스 컨볼루션은 특히 다중 단계 학습과 조합되었을 때 성능에 크게 기여하였으며, 기준 U-Net 대비 mIOU를 3% 향상시켰다.
• 저자료 환경에서도 모델이 강건성을 보였고, 보조 손실이 저자료 시나리오에서 더 큰 성능 향상을 가져왔다.
• 추상화 분석 결과, 자기 주의, 박스 컨볼루션, 다중 단계 설계 각각이 최종 성능 향상에 의미 있는 기여를 했다.