[논문 리뷰] Spatial Dual-Modality Graph Reasoning for Key Information Extraction

Hongbin Sun, Zhanghui Kuang외 3명|arXiv (Cornell University)|2021. 03. 26.

Handwritten Text Recognition Techniques참고 문헌 36인용 수 16

한 줄 요약

이 논문은 구조화되지 않은 문서 이미지에서 핵심 정보를 추출하기 위한 엔드 투 엔드 방법인 공간 이중모달 그래프 추론(SDMD-R)을 제안한다. 이 방법은 시각적 및 텍스트적 특징을 결합한 공간적 관계를 포함하는 이중모달 그래프로 텍스트 영역을 모델링한다. SDMG-R는 반복적인 그래프 컨볼루션 메시지 전파를 통해 노드 표현을 정밀화하며, SROIE 및 새로운 더 크고 더 현실적인 벤치마크인 WildReceipt에서 최신 기술 수준(SOTA) 성능을 달성한다. 키 카테고리 분류를 포함할 경우 F1 점수는 4.4%p 향상된다.

ABSTRACT

Key information extraction from document images is of paramount importance in office automation. Conventional template matching based approaches fail to generalize well to document images of unseen templates, and are not robust against text recognition errors. In this paper, we propose an end-to-end Spatial Dual-Modality Graph Reasoning method (SDMG-R) to extract key information from unstructured document images. We model document images as dual-modality graphs, nodes of which encode both the visual and textual features of detected text regions, and edges of which represent the spatial relations between neighboring text regions. The key information extraction is solved by iteratively propagating messages along graph edges and reasoning the categories of graph nodes. In order to roundly evaluate our proposed method as well as boost the future research, we release a new dataset named WildReceipt, which is collected and annotated tailored for the evaluation of key information extraction from document images of unseen templates in the wild. It contains 25 key information categories, a total of about 69000 text boxes, and is about 2 times larger than the existing public datasets. Extensive experiments validate that all information including visual features, textual features and spatial relations can benefit key information extraction. It has been shown that SDMG-R can effectively extract key information from document images of unseen templates, and obtain new state-of-the-art results on the recent popular benchmark SROIE and our WildReceipt. Our code and dataset will be publicly released.

연구 동기 및 목표

• 기존 템플릿 기반 방법이 새로운 문서 레이아웃에 일반화하지 못하고 텍스트 인식 오류에 민감한 점을 해결한다.
• 라인 수준의 정렬을 넘어서 시각적 및 텍스트적 특징과 공간적 맥락을 활용하는 강력한 엔드 투 엔드 추출 방법을 개발한다.
• 실제로 제약이 없는 이미지 조건에서 새로운 템플릿에 대한 일반화 능력을 평가하기 위해, WildReceipt이라는 새로운 대규모 벤치마크 데이터셋을 구축한다.
• 이중모달 특징과 공간 그래프 구조에 대한 공동 추론이 추출 정확도를 크게 향상시킨다는 것을 입증한다.

제안 방법

• 검출된 텍스트 박스를 노드로 하는 공간 이중모달 그래프로 문서 이미지를 모델링하며, 각 노드는 시각적(CNN) 및 텍스트적(RNN) 특징을 가진다.
• 이웃하는 텍스트 영역 간의 2차원 공간적 근접도를 기반으로 그래프 간선을 정의하여 관계적 맥락을 캡처한다.
• 학습 가능한 어텐션 가중치를 가진 그래프 컨볼루션 네트워크(GCN)를 사용하여 간선을 따라 노드 표현을 반복적으로 전파하고 정밀화한다.
• 시각적 및 텍스트적 특징을 효율적으로 융합하기 위해 크로네커乘법 기반의 블록 대각 텐서 분해를 도입한다.
• 메시지 전파 과정에서 이웃 노드의 중요도를 동적으로 가중치 부여하기 위해 그래프 추론 모듈에 멀티헤드 어텐션을 적용한다.
• 키 카테고리 및 값 카테고리 분류를 위한 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 라인 수준의 맥락을 넘어서 시각적, 텍스트적, 공간적 관계적 특징에 대한 공동 추론이 핵심 정보 추출 성능을 향상시킬 수 있는가?
• RQ2 비공선 텍스트 영역 간의 공간적 관계를 포함할 경우, 새로운 템플릿에 대한 성능에 어떤 영향을 미치는가?
• RQ3 이중모달 특징(시각적 + 텍스트적)이 인식 오류 및 레이아웃 변형에 대해 얼마나 강건한가?
• RQ4 그래프 추론 반복 횟수는 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 WildReceipt처럼 더 세밀하고 현실적인 새로운 데이터셋은 기존 벤치마크보다 일반화 능력을 더 잘 평가할 수 있는가?

주요 결과

• SDMG-R는 WildReceipt 데이터셋에서 기존 방법들을 크게 능가하는 새로운 최신 기술 수준의 F1 점수 88.7%를 달성한다.
• 그래프 추론을 제거할 경우 WildReceipt에서 F1 점수가 11.5%p 감소하며, 공간적 메시지 전파가 성능 향상에 핵심적임을 입증한다.
• 키 카테고리 분류를 포함하면 값 카테고리 분류의 F1 점수가 4.4%p 향상되며, 이는 보조적 이점임을 보여준다.
• 최적의 그래프 추론 반복 횟수는 L=2이며, L>2일 경우 과적합으로 인해 성능이 저하된다.
• 제안된 이중모달 융합 모듈은 LinearSum 및 ConcatMLP와 같은 대안보다 우수하며, 최적의 블록 크기와 블록 수에서 특히 뛰어난 성능을 보인다.
• 시각화 결과는 모델이 장거리 간에도 의미적으로 관련 있는 공간 어텐션 가중치를 학습함을 확인한다. 예를 들어, "Total value"와 "Total key"를 연결하는 데 성공한다.