[논문 리뷰] Efficient Document Image Classification Using Region-Based Graph Neural Network

Jaya Krishna Mandivarapu, Eric Bunch외 2명|arXiv (Cornell University)|2021. 06. 25.

Handwritten Text Recognition Techniques참고 문헌 23인용 수 5

한 줄 요약

이 논문은 PubLayNet를 통해 추출한 의미적 영역에서 시각적, 텍스트적, 레이아웃 특징을 통합하는 영역 기반 그래프 신경망(Eff-GNN)을 사용한 효율적인 문서 이미지 분류 프레임워크를 제안한다. 이 방법은 모델 크기와 학습/추론 시간을 크게 줄여 CPU에서의 비용 효율적인 배포와 확장 가능한 기업용 사용을 가능하게 하며, 거의 최신 기술 수준의 분류 정확도를 달성한다.

ABSTRACT

Document image classification remains a popular research area because it can be commercialized in many enterprise applications across different industries. Recent advancements in large pre-trained computer vision and language models and graph neural networks has lent document image classification many tools. However using large pre-trained models usually requires substantial computing resources which could defeat the cost-saving advantages of automatic document image classification. In the paper we propose an efficient document image classification framework that uses graph convolution neural networks and incorporates textual, visual and layout information of the document. We have rigorously benchmarked our proposed algorithm against several state-of-art vision and language models on both publicly available dataset and a real-life insurance document classification dataset. Empirical results on both publicly available and real-world data show that our methods achieve near SOTA performance yet require much less computing resources and time for model training and inference. This results in solutions than offer better cost advantages, especially in scalable deployment for enterprise applications. The results showed that our algorithm can achieve classification performance quite close to SOTA. We also provide comprehensive comparisons of computing resources, model sizes, train and inference time between our proposed methods and baselines. In addition we delineate the cost per image using our method and other baselines.

연구 동기 및 목표

• 대규모 기업 배포에 적합한 저자원, 고성능 문서 이미지 분류 프레임워크를 개발하기 위해.
• 대규모 사전 훈련된 시각 또는 언어 모델에 의존하지 않고 그래프 신경망을 통해 시각적, 텍스트적, 레이아웃 특징을 효과적으로 통합하기 위해.
• 최신 기술 모델들 간의 계산 효율성(학습 시간, GPU 메모리, 추론 속도)을 체계적으로 평가하고 비교하기 위해.
• 실제 응용 분야(예: 보험 청구 처리)에서 확장 가능하고 비용 효율적인 문서 분류 모델의 배포를 가능하게 하기 위해.
• 경쟁적인 분류 정확도를 유지하면서도 고비용 GPU 자원에 대한 의존도를 줄이기 위해.

제안 방법

• 의미적 영역은 사전 훈련된 PubLayNet 모델을 사용해 문서 이미지에서 인스턴스 세그멘테이션을 통해 추출된다.
• 텍스트적 특징은 Word2Vec 임베딩을 통해 추출되며, 이미지 특징은 사전 훈련된 VGG-16 모델을 통해 추출된다.
• 각 노드가 의미적 영역을 나타내는 그래프가 구성되며, 노드 특징은 시각적, 텍스트적, 위치적 레이아웃 임베딩을 통합한다.
• 정렬 풀링을 적용한 그래프 컬러이션 네트워크(GCN)를 사용해 전체 문서 그래프를 분류하며, 임의의 그래프 구조에서의 엔드 투 엔드 훈련이 가능하다.
• 교차 엔트로피 손실을 사용해 모델을 훈련하고 정확도와 계산 효율성 양면에서 최적화된다.
• 프레임워크는 Docker 컨테이너에 패ckaged된 모델 가중치를 통해 AWS Fargate와 ECS를 통해 CPU에서 추론을 지원한다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 문서 이미지에서 시각적, 텍스트적, 레이아웃 특징을 효과적으로 통합하여 경쟁 가능한 분류 정확도를 달성할 수 있는가?
• RQ2 제안된 방법은 최신 기술 수준의 시각 및 언어 모델과 비교해 계산 효율성과 자원 사용 측면에서 어떻게 다른가?
• RQ3 모델은 최소한의 하드웨어 요구 사항을 충족하면서도 CPU에서 배포 가능할 수 있는가?
• RQ4 OCR 기반 텍스트 특징과 이미지 특징을 통합했을 때, OCR에 실패하거나 불완전한 경우 성능에 어떤 영향을 미치는가?
• RQ5 실제 및 공개 데이터셋에서 학습 시간, 메모리 사용량, 추론 속도 측면에서 모델의 확장성은 어떻게 나타나는가?

주요 결과

• 보험 데이터셋(11개 클래스)에서 Eff-GNN는 Word2Vec과 이미지 임베딩을 사용해 AUC 91.0%를 달성했으며, BERT(91.95%)와 유사한 성능을 보였지만 파라미터 수는 734k로 BERT의 110M에 비해 극적으로 줄었다.
• Tobacco-3482 데이터셋(10개 클래스)에서 Eff-GNN는 이미지 및 텍스트 특징을 사용해 AUC 77.5%를 기록했으며, 효율성 측면에서 BERT(79.0%)와 VGG-16(81.5%)를 모두 초월했다.
• GPU에서 훈련된 Eff-GNN는 50에포크에 대해 단 3.5분이 소요되었으며, BERT의 6.2시간 대비 빠르게, GPU 메모리는 470MB로 BERT의 10.5GB에 비해 크게 감소했다.
• Eff-GNN의 추론 시간은 GPU 및 CPU에서 각각 0.79초/이미지로, BERT의 40초 대비 빠르게, CPU에서는 GPU 메모리 사용이 전혀 없었다.
• 모델 크기는 734k 파라미터(124k + 610k)로 줄어들어 CPU 배포와 확장 가능한 컨테이너 호스팅에 적합했다.
• 프레임워크는 BERT 대비 추론 속도 40배 향상과 GPU 메모리 사용량 10배 감소를 입증하여 기업 배포에 있어 극적인 비용 이점을 보였다.