[논문 리뷰] Spatial Dependency Parsing for Semi-Structured Document Information Extraction

Wonseok Hwang, Jinyeong Yim외 3명|arXiv (Cornell University)|2020. 05. 01.

Handwritten Text Recognition Techniques참고 문헌 34인용 수 16

한 줄 요약

이 논문은 OCR에서 추출된 토큰의 순서화가 필요 없이 언어적 관계와 2차원 공간적 관계를 모두 모델링하는 엔드 투 엔드 공간적 종속성 파싱 프레임워크인 SPADE$\varspadesuit$를 제안한다. 이는 영수증, 송장, 명함, 양식 등 다양한 유형의 반구조화된 문서 정보 추출에서 최신 기술 수준 또는 그 이상의 성능을 달성하며, 복잡한 레이아웃에서는 BERT 기반 IOB 태거보다 최대 +1.9 F1 향상되고, FUNSD 벤치마크에서 엔티티 레이블링에서는 +11.5 F1 향상된다.

ABSTRACT

Information Extraction (IE) for semi-structured document images is often approached as a sequence tagging problem by classifying each recognized input token into one of the IOB (Inside, Outside, and Beginning) categories. However, such problem setup has two inherent limitations that (1) it cannot easily handle complex spatial relationships and (2) it is not suitable for highly structured information, which are nevertheless frequently observed in real-world document images. To tackle these issues, we first formulate the IE task as spatial dependency parsing problem that focuses on the relationship among text tokens in the documents. Under this setup, we then propose SPADE (SPAtial DEpendency parser) that models highly complex spatial relationships and an arbitrary number of information layers in the documents in an end-to-end manner. We evaluate it on various kinds of documents such as receipts, name cards, forms, and invoices, and show that it achieves a similar or better performance compared to strong baselines including BERT-based IOB taggger.

연구 동기 및 목표

• 반구조화된 문서 정보 추출에서 순서 태깅 기법의 한계, 특히 복잡한 공간적 레이아웃과 계층적 정보를 모델링할 수 없는 점을 해결하기 위해.
• OCR에서 추출된 토큰에 대한 수작업 또는 히ュ리스틱 기반 순서화에 의존하는 것을 제거하여, 다중 컬럼 또는 비정형 문서에서 공간적 관계가 왜곡되는 문제를 해결하기 위해.
• 언어적 관계와 공간적 종속성을 동시에 학습하는 엔드 투 엔드, 순서화 기반 모델을 개발하기 위해.
• 영수증, 송장, 명함, 양식 등 다양한 실제 문서 유형을 대상으로 모델을 평가하여, 다양한 구조적 복잡성 수준에서의 성능을 검증하기 위해.
• 공간적 관계를 명시적으로 모델링할 경우 계층적 또는 복잡한 레이아웃을 가진 문서에서 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 각 텍스트 토큰을 방향 그래프의 노드로 간주하고, 간선을 언어적 관계와 공간적 관계로 간주하여 문서 정보 추출 문제를 공간적 종속성 파싱 문제로 재정의한다.
• 토큰의 상대적 2차원 좌표 (x, y)를 주목사용 계산에 통합하여 공간에 민감한 자기주의 메커니즘을 설계함으로써, 모델이 직접적으로 공간적 종속성을 학습할 수 있도록 한다.
• 최종 종속성 구조를 예측하기 위해 그래프 기반 디코딩 전략을 사용하여, 임의의 계층적 또는 다층적 정보 그룹화를 가능하게 한다.
• IOB 스타일 태깅과 그래프 구조 예측을 조합하여 엔드 투 엔드로 학습하며, 랜덤 토큰 재배열 및 회전을 통한 데이터 증강 기법을 활용하여 모델의 강건성 향상.
• 맥락 인코딩을 위해 BERT 기반 백본을 사용하며, 상대적 공간 위치 임베딩을 추가하여 의미적 및 공간적 맥락을 함께 포착한다.
• 파싱 작업을 두 가지 관계 유형으로 분해한다: rel-s (순서화 및 필드 분류)와 rel-g (필드 간 그룹 간 관계), 이를 통해 구조화된 출력 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 2차원 레이아웃에서 텍스트 토큰 간의 공간적 관계를 모델링하면, 복잡한 반구조화된 문서에서 정보 추출 성능이 향상되는가?
• RQ2 순서화 기반 모델에 비해 순서화가 없는 엔드 투 엔드 공간적 종속성 파싱 접근 방식이 계층적 또는 다중 컬럼 레이아웃을 가진 문서에서 더 우수한 성능을 내는가?
• RQ3 자기주의 레이어에 상대적 공간 좌표를 포함시킬 경우 모델의 성능과 레이아웃 변형에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 아키텍처 수정 없이도 영수증, 송장, 명함, 양식 등 다양한 문서 유형에 일반화 가능한가?
• RQ5 토큰 재정렬 및 회전을 포함한 데이터 증강 기법이 공간적 종속성 파싱의 일반화 능력 향상에 얼마나 기여하는가?

주요 결과

• 복잡하고 계층적인 레이아웃을 가진 송장 데이터셋에서 강력한 BERT 기반 IOB 태거 기준보다 SPADE$\\varspadesuit$가 +1.9 F1 향상되어 우수한 성능을 입증한다.
• FUNSD 양식 이해 벤치마크에서 SPADE$\\varspadesuit$는 BERT-Base Tagger 기준으로 엔티티 연결(ELK)에서 37.3%의 절대 F1 향상과 엔티티 레이블링(ELB)에서 +11.5 F1 향상 달성한다.
• 데이터 증강(예: 재정렬된 토큰 또는 기울인 문서) 조건에서도 안정적인 성능 유지를 보이며, ELB-R에서는 1.1 F1 하락, ELB-S에서는 0.4 F1 상승을 기록하여 레이아웃 변형에 대한 강건성을 입증한다.
• 제거 실험 결과 상대적 공간 좌표를 제거할 경우 F1 점수가 74.0 하락함을 확인하여, 공간적 인도적 편향이 모델 성능에 결정적인 역할을 한다는 것을 입증한다.
• 레이아웃 사전학습이나 외부 데이터 없이도 모든 평가된 데이터셋(영수증, 명함, 양식, 송장)에서 최신 기술 수준의 성능을 달성한다.
• 절대 좌표 대신 상대 좌표를 사용할 경우 F1 점수가 6.9 향상되고, 데이터 증강 기법이 F1 점수에 2.6 향상 기여함을 확인하여, 훈련 안정성과 일반화 능력 향상에 중요한 역할을 한다.