[논문 리뷰] Rethinking Table Parsing using Graph Neural Networks

Shah Rukh Qasim, Hassan Mahmood외 1명|arXiv (Cornell University)|2019. 05. 31.

Handwritten Text Recognition Techniques인용 수 12

한 줄 요약

이 논문은 시각적 특징 추출을 위한 합성곱 신경망(CNN)과 표의 구조적 관계를 모델링하기 위한 그래프 신경망(GNN)을 결합한 GNN 기반 아키텍처를 제안한다. 이 방법은 베이스라인 모델을 크게 능가하며, 문서 구조 분석 분야의 데이터 부족 문제를 해결하기 위해 대규모 합성 데이터셋을 도입한다.

ABSTRACT

Document structure analysis, such as zone segmentation and table parsing, is a complex problem in document processing and is an active area of research. The recent success of deep learning in solving various computer vision and machine learning problems has not been reflected in document structure analysis since conventional neural networks are not well suited to the input structure of the problem. In this paper, we propose an architecture based on graph networks as a better alternative to standard neural networks for table parsing. We argue that graph networks are a more natural choice for these problems, and explore two gradient-based graph neural networks. Our proposed architecture combines the benefits of convolutional neural networks for visual feature extraction and graph networks for dealing with the problem structure. We empirically demonstrate that our method outperforms the baseline by a significant margin. In addition, we identify the lack of large scale datasets as a major hindrance for deep learning research for structure analysis, and present a new large scale synthetic dataset for the problem of table parsing. Finally, we open-source our implementation of dataset generation and the training framework of our graph networks to promote reproducible research in this direction.

연구 동기 및 목표

• 기존 신경망이 문서 표의 구조적 복잡성을 모델링하는 데 한계가 있음을 해결하기 위해.
• 표의 구조적 관계에 대한 상호의존성을 더 잘 포착하는 그래프 신경망 아키텍처를 제안하기 위해.
• CNN에서 추출한 시각적 특징과 GNN를 통한 구조적 추론을 통합하여 표 구문 분석 성능을 향상시키기 위해.
• 문서 구조 분석 분야에서 대규모 애너테이션된 데이터셋이 부족한 문제를 해결하기 위해 새로운 합성 데이터셋을 생성하기 위해.
• 데이터셋 생성 파이프라인과 학습 프레임워크를 오픈소스로 제공하여 재현 가능한 연구를 가능하게 하기 위해.

제안 방법

• 해당 방법은 각 셀을 그래프의 노드로 간주하여 셀 간의 구조적 관계를 모델링하기 위해 그래프 신경망을 사용한다.
• 시각적 특징은 표 이미지에서 합성곱 신경망(CNN)을 사용해 추출되며, 이를 그래프의 노드 특징으로 사용한다.
• GNN은 다중 레이어를 거쳐 이웃 정보를 기반으로 노드 표현을 업데이트하는 학습 가능한 메시지 전달 메커니즘을 통해 그래프를 처리한다.
• 그래프 구조 학습과 예측 성능 최적화를 위해 두 가지 기반 기반 GNN 변종을 탐색한다.
• 아키텍처는 표의 셀 경계와 콘텐츠 세그먼테이션을 예측하기 위해 엔드 투 엔드로 학습된다.
• 다양한 레이아웃과 구조를 가진 표의 룰 기반 렲링을 통해 실제 세계의 복잡성을 시뮬레이션하는 대규모 합성 데이터셋이 생성된다.

실험 결과

연구 질문

• RQ1 기존 신경망과 비교해 그래프 신경망이 표 구문 분석에서 구조적 관계를 효과적으로 모델링할 수 있는가?
• RQ2 CNN 기반의 시각적 특징 추출과 GNN 기반의 구조적 추론을 융합하면 구문 분석 정확도가 어떻게 향상되는가?
• RQ3 대규모 합성 데이터셋의 가용성이 표 구문 분석 성능에 어느 정도 기여하는가?
• RQ4 제안된 GNN 아키텍처는 다양한 표 레이아웃과 구조에 대해 일반화 가능한가?
• RQ5 이 방법은 후속 문서 구조 분석 작업에 어떤 영향을 미치는가?

주요 결과

• 제안된 GNN 기반 방법은 표 구문 분석 정확도에서 기존 베이스라인 모델을 크게 능가한다.
• CNN을 통한 시각적 특징 추출과 GNN를 통한 구조적 추론의 융합은 일반화 능력과 강건성을 향상시킨다.
• 대규모 합성 데이터셋은 더 나은 학습과 평가를 가능하게 하여 분야 내 데이터 부족 문제를 완화한다.
• 오픈소스로 제공된 데이터셋 생성 및 학습 프레임워크는 재현 가능성과 문서 구조 분석 분야의 추가 연구를 지원한다.
• 실증 결과는 표의 구조를 모델링하는 데 있어 표준 신경망보다 GNN이 더 자연스럽고 효과적인 선택임을 보여준다.
• 이 방법은 실제 데이터셋의 애너테이션 데이터가 제한된 상황에서도 뛰어난 성능을 보이며, 이 분야에서 합성 데이터의 가치를 입증한다.