[논문 리뷰] PICK: Processing Key Information Extraction from Documents using Improved Graph Learning-Convolutional Networks

Wenwen Yu, Ning Lü외 3명|arXiv (Cornell University)|2020. 04. 16.

Handwritten Text Recognition Techniques참고 문헌 36인용 수 14

한 줄 요약

PICK는 텍스트, 시각적 및 레이아웃 특징을 통합하여 관계를 자동으로 모델링하는 개선된 그래프 학습과 그래프 컨volution 네트워크(GCN)를 융합한 새로운 그래프 기반 프레임워크를 제안한다. 이는 문서에서 핵심 정보 추출(KIE)을 위해 제안된 것으로, 실제 데이터셋인 SROIE 및 의료 송장에서 최신 기술 수준(SOTA) 성능을 달성하며 각각 mEF 점수 96.1과 87.0을 기록한다.

ABSTRACT

Computer vision with state-of-the-art deep learning models has achieved huge success in the field of Optical Character Recognition (OCR) including text detection and recognition tasks recently. However, Key Information Extraction (KIE) from documents as the downstream task of OCR, having a large number of use scenarios in real-world, remains a challenge because documents not only have textual features extracting from OCR systems but also have semantic visual features that are not fully exploited and play a critical role in KIE. Too little work has been devoted to efficiently make full use of both textual and visual features of the documents. In this paper, we introduce PICK, a framework that is effective and robust in handling complex documents layout for KIE by combining graph learning with graph convolution operation, yielding a richer semantic representation containing the textual and visual features and global layout without ambiguity. Extensive experiments on real-world datasets have been conducted to show that our method outperforms baselines methods by significant margins. Our code is available at https://github.com/wenwenyu/PICK-pytorch.

연구 동기 및 목표

• 복잡한 레이아웃을 가진 문서에서 핵심 정보를 추출하는 데 있어 텍스트 및 시각적 특징을 활용하여 도전 과제를 해결하기 위해.
• 기존 KIE 방법이 문서를 선형 시퀀스로 간주하거나 수작업으로 정의된 그래프 구조에 의존하는 한계를 극복하기 위해.
• 엣지 유형이나 인접 행렬에 대한 사전 지식 없이도 문서 구조를 자동으로 학습하는 강력한 종단 간 프레임워크를 개발하기 위해.
• 유연한 그래프 구조 생성과 더 풍부한 의미 표현을 통해 고정 레이아웃 및 가변 레이아웃 문서에서의 성능을 향상시키기 위해.
• 시각적 특징과 그래프 학습이 핵심 정보 추출 과정에서 모호성을 줄이는 데 얼마나 효과적인지 입증하기 위해.

제안 방법

• 시각적 및 텍스트적 특징에 기반해 텍스트 노드 간의 동적 관계를 포착하는 소프트 인접 행렬을 자동으로 학습하는 그래프 학습 모듈을 [11]의 영감을 받아 도입한다.
• 문서에서 검출된 각 텍스트 세그먼트에 대해 텍스트, 이미지 및 위치 특징을 통합하여 통합된 노드 표현을 구성한다.
• 동적으로 학습된 그래프 구조에 그래프 컨볼루션 네트워크(GCN)를 적용하여 문서 전반에 걸쳐 노드 표현을 전파하고 개선한다.
• 문자 수준의 시퀀스 태깅을 위한 디코더 헤드를 사용하여 키 필드 엔티티를 예측함으로써 종단 간 학습을 가능하게 한다.
• 수동으로 정의된 엣지나 완전 연결 그래프가 필요 없도록 학습 가능한 그래프 구조를 활용하여 노이즈와 중복을 줄인다.
• 시퀀스 태깅에 대한 교차 엔트로피 손실을 최적화하고, 구성 요소 기여도를 검증하기 위해 추상화 연구를 실시한다.

실험 결과

연구 질문

• RQ1 수작업으로 정의된 그래프 구조에 의존하지 않고도 종단 간 KIE 프레임워크가 문서 내 텍스트 세그먼트 간 의미 있는 관계를 자동으로 학습할 수 있는가?
• RQ2 제안된 그래프 학습 모듈이 가변 레이아웃 및 고정 레이아웃 문서에서 KIE 성능 향상에 얼마나 효과적인가?
• RQ3 시각적 특징(예: 폰트 색상, 배경 등)이 핵심 정보 추출 시 모호성을 줄이는 데 얼마나 기여하는가?
• RQ4 KIE 작업에 최적의 그래프 컨볼루션 레이어 깊이가 얼마이며, 더 깊은 아키텍처가 과적합을 유도하는가?
• RQ5 LayoutLM과 같은 기존 최신 기술 수준(SOTA) 모델과 비교할 때, 제안된 방법은 성능 및 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 의료 송장 데이터셋에서 PICK는 베이스라인 대비 mEF 점수 14.7% 향상되었으며, 특히 송장 번호 추출에서 가장 큰 향상을 보여 시각적 특징의 가치를 입증한다.
• 기차표 데이터셋에서는 PICK가 거의 완전한 mEF 점수(98.6)를 기록하여 효과적인 그래프 구조 학습 덕분에 고정 레이아웃 문서에서 뛰어난 성능을 보였다.
• 이미지 세그먼트를 제거하면 의료 송장에서 mEF가 0.9점 감소하고 기차표에서 0.4점 감소하여, 시각적 특징이 해석의 모호성을 줄이는 데 중요한 역할을 함을 확인한다.
• 그래프 학습 모듈을 제거하면 의료 송장에서 mEF가 1.6점 감소하고 기차표에서 0.7점 감소하여, 이는 복잡한 레이아웃을 처리하는 데 있어 그래프 학습 모듈의 핵심적인 역할을 입증한다.
• GCN 깊이에 대한 추상화 분석 결과, 1~2층 모델이 더 깊은 모델(3~4층)보다 성능이 뛰어나며, 깊이가 증가함에 따라 과적합 위험이 있음을 시사한다.
• 전체 모델은 공식 훈련 데이터만을 사용하여 SROIE에서 96.1 mEF를 달성했으며, 추가 사전 훈련 데이터와 클래스 레이블 지도를 사용하는 LayoutLM을 능가하는 성능을 보였다.