[논문 리뷰] Chargrid: Towards Understanding 2D Documents

Anoop R Katti, Christian Reisswig외 5명|arXiv (Cornell University)|2018. 09. 24.

Handwritten Text Recognition Techniques참고 문헌 21인용 수 15

한 줄 요약

이 논문은 구조적 문서의 2차원 레이아웃을 유지하기 위해 문자를 2차원 격자로 인코딩하는 Chargrid라는 2차원 격자 표현 방식을 소개한다. 이를 통해 완전 컨볼루션형 인코더-디코더 모델이 구조적 문서에서 인스턴스 수준의 의미 분할과 바운딩 박스 예측을 수행할 수 있다. 이 방법은 공간적 및 텍스트적 맥락을 동시에 활용함으로써, 청구서 정보 추출에서 자연어 처리(NLP) 및 컴퓨터 비전(CV) 기반 기준 모델보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

We introduce a novel type of text representation that preserves the 2D layout of a document. This is achieved by encoding each document page as a two-dimensional grid of characters. Based on this representation, we present a generic document understanding pipeline for structured documents. This pipeline makes use of a fully convolutional encoder-decoder network that predicts a segmentation mask and bounding boxes. We demonstrate its capabilities on an information extraction task from invoices and show that it significantly outperforms approaches based on sequential text or document images.

연구 동기 및 목표

• 구조적 문서의 본질적인 2차원 레이아웃을 고려할 수 없는 순차적 NLP 모델과 순수한 시각 기반 컴퓨터 비전 접근 방식의 한계를 해결하기 위해.
• 의미 이해에 핵심적인 요소인 텍스트 요소 간의 공간적 관계(예: 위치, 정렬, 크기)를 유지하고 활용하기 위해.
• 2차원 텍스트 표현에 직접 작용하는 종단간(end-to-end) 딥러닝 파이프라인을 개발하기 위해.
• 레이아웃 인식이 필요한 복잡한 정보 추출 작업에서 2차원 표현 방식의 우수성을 입증하기 위해.

제안 방법

• 각 문서 페이지를 문자의 희소한 2차원 격자(Chargrid)로 표현하며, 각 문자는 공간 좌표에 매핑된다.
• 완전 컨볼루션층을 사용한 인코더-디코더 아키텍처를 활용하여 픽셀 단위의 분할 마스크와 객체 바운딩 박스를 예측한다.
• 분할에 대한 교차 엔트로피와 객체 검출에 대한 박스 손실을 조합한 공동 손실 함수를 사용해 모델을 훈련시킨다.
• 하이브리드 모델에서 chargrid 표현과 이미지 인코더를 융합하여 시각적 및 텍스트적 특징을 통합한다.
• 문자의 1-핫 벡터 인코딩을 통해 분류적 성격을 유지하여 매우 희소한 입력 표현을 얻는다.
• 가중치 감소와 레이블 스무딩을 적용한 확률적 경사 하강법을 사용해 모델을 종단간 최적화한다.

실험 결과

연구 질문

• RQ1 텍스트의 2차원 격자 표현이 문서 이해에 필수적인 공간적 관계를 유지할 수 있는가?
• RQ2 Chargrid 기반 모델은 순차적 NLP 모델과 이미지 기반 컴퓨터 비전 모델에 비해 구조적 문서 이해에서 어떻게 성능을 내는가?
• RQ3 2차원 공간적 구조는 라인항목 인식과 같은 복잡한 정보 추출 작업에서 성능 향상에 어느 정도 기여하는가?
• RQ4 Chargrid 표현 방식은 다양한 문서 유형과 레이아웃 복잡도에 대해 일반화 가능한가?
• RQ5 하이브리드 모델에서 chargrid 브랜치와 이미지 인코더 브랜치의 기여도는 각각 얼마인가?

주요 결과

• Chargrid 모델은 청구서 정보 추출에서 최신 기술의 NLP 및 컴퓨터 비전 모델을 뚜렷이 능가하며, 특히 공급자 주소 및 라인항목 수량과 같은 복잡한 필드에서 뛰어난 성능을 보였다.
• 모델은 텍스트 내용과 공간적 레이아웃을 모두 높은 정확도로 탐지했으며, 2차원 구조를 활용하지 못하는 순차적 모델보다 뛰어난 성능을 보였다.
• Chargrid 인코더와 이미지 인코더를 결합한 하이브리드 모델은 Chargrid 전용 모델보다 성능 향상이 없었으며, 이는 Chargrid가 대부분의 구분 정보를 포괄하고 있음을 시사한다.
• Chargrid 브랜치의 채널 수가 적은 chargrid-hybrid-C32 모델은 정확도가著 떨어졌으며, 이는 Chargrid 표현 방식이 성능의 주요 원천임을 확인한다.
• 오류 분석 결과, 비정상적인 구조를 가진 라인항목에서는 모델의 성능이 떨어지지만, 많은 오류는 모호한 진짜값(ground truth) 애너테이션 때문이었다.
• 수렴까지 최대 3일이 소요되며, 이는 순차적 모델이 수 시간 내에 수렴하는 것과 비교해 더 높은 계산 비용을 반영한다.