[논문 리뷰] Enhancing Document AI Data Generation Through Graph-Based Synthetic Layouts

Amit Agarwal, Hitesh Patel외 4명|arXiv (Cornell University)|2024. 11. 27.

Semantic Web and Ontologies인용 수 2

한 줄 요약

이 논문은 그래프 신경망(GNNs)을 사용하여 문서 요소를 노드로, 그들의 공간적 관계를 간선으로 모델링하는 그래프 기반의 합성 문서 레이아웃 생성 프레임워크를 제안한다. 이는 구조적으로 일관되고 의미적으로 일관된 합성 레이아웃을 생성할 수 있도록 한다. 기존의 전통적 증강 방법에 비해 이 방법은 분류, NER 및 정보 추출 작업에서 문서 AI 모델의 성능을 크게 향상시킨다.

ABSTRACT

The development of robust Document AI models has been constrained by limited access to high-quality, labeled datasets, primarily due to data privacy concerns, scarcity, and the high cost of manual annotation. Traditional methods of synthetic data generation, such as text and image augmentation, have proven effective for increasing data diversity but often fail to capture the complex layout structures present in real world documents. This paper proposes a novel approach to synthetic document layout generation using Graph Neural Networks (GNNs). By representing document elements (e.g., text blocks, images, tables) as nodes in a graph and their spatial relationships as edges, GNNs are trained to generate realistic and diverse document layouts. This method leverages graph-based learning to ensure structural coherence and semantic consistency, addressing the limitations of traditional augmentation techniques. The proposed framework is evaluated on tasks such as document classification, named entity recognition (NER), and information extraction, demonstrating significant performance improvements. Furthermore, we address the computational challenges of GNN based synthetic data generation and propose solutions to mitigate domain adaptation issues between synthetic and real-world datasets. Our experimental results show that graph-augmented document layouts outperform existing augmentation techniques, offering a scalable and flexible solution for training Document AI models.

연구 동기 및 목표

• 문서 AI에서 실제 레이블이 부여된 문서 데이터셋의 부족성과 개인정보 보호 제약을 해결하기 위해.
• 기존의 전통적 데이터 증강 기법이 문서 내 복잡한 공간적 및 구조적 관계를 포착하지 못하는 데서 기인하는 실패를 극복하기 위해.
• 레이아웃의 일관성과 의미적 일관성을 유지하면서도 확장 가능한 그래프 기반의 합성 데이터 생성 방법을 개발하기 위해.
• 합성 레이아웃과 실제 문서 레이아웃 간의 도메인 적합 문제를 완화하기 위해.
• 다양하고 현실적인 합성 훈련 데이터를 통해 문서 AI 모델의 일반화 능력과 견고성을 향상시키기 위해.

제안 방법

• 텍스트 블록, 이미지, 표 등의 문서 요소는 그래프의 노드로 표현되며, 공간적 및 의미적 관계는 간선으로 표현된다.
• 기존의 레이아웃 구조에서 학습함으로써 GNNs가 새로운 현실적인 문서 레이아웃을 생성하도록 훈련된다.
• 그래프 표현은 문서 레이아웃 내의 국소적(예: 단락-제목 정렬) 및 전반적(예: 계층적 보고서 구조) 의존성을 모두 포착한다.
• 이중 단계 훈련 과정을 적용한다: 첫 번째 단계에서는 GNNs가 실제 문서 그래프에서 레이아웃 패턴을 학습하고, 두 번째 단계에서는 노드 및 간선 예측을 통해 새로운 레이아웃을 생성한다.
• 훈련 비용을 줄이기 위해 그래프 희소화와 경량 GNN 아키텍처를 통해 계산 효율성을 향상시킨다.
• 도메인 적합 문제를 해결하기 위해 전이 학습 및 도메인 특화 그래프 표현을 활용하여 도메인 간 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 GNN 기반의 합성 레이아웃 생성은 기존의 증강 기법에 비해 더 구조적으로 현실적이며 다양한 문서 레이아웃을 생성할 수 있는가?
• RQ2 그래프 기반의 레이아웃 생성은 분류 및 NER와 같은 레이아웃 의존적 작업에서 문서 AI 모델의 성능에 어떤 영향을 미치는가?
• RQ3 GNN으로 생성된 합성 데이터는 합성 레이아웃과 실제 문서 분포 간의 도메인 이동 문제를 어느 정도 완화할 수 있는가?
• RQ4 GNN 기반 레이아웃 생성에서 주요 계산적 병목 현상은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 GNN과 대조 학습 또는 가짜 레이블링을 조합한 하이브리드 접근 방식은 모델의 견고성과 일반화 능력을 더욱 향상시킬 수 있는가?

주요 결과

• GNN 기반의 합성 레이아웃은 기존의 텍스트 및 이미지 증강 기법에 비해 문서 분류, NER 및 정보 추출 작업 전반에서 모델 정확도, 정밀도, 재현율 및 레이아웃 다양성 측면에서 뚜렷이 뛰어난 성능을 보였다.
• 제안된 방법은 높은 구조적 일관성과 의미적 일관성을 갖춘 레이아웃을 생성하여 국소적 및 전반적 문서 패턴을 효과적으로 포착하였다.
• 그래프 희소화와 경량 GNN 아키텍처는 레이아웃의 현실성에 손상 없이 계산 복잡도를 감소시켜 확장성을 향상시켰다.
• 전이 학습 기법은 합성 레이아웃과 실제 문서 레이아웃 간의 도메인 갭을 줄여 도메인 간 일반화 능력을 향상시켰다.
• GNN과 대조 학습 또는 가짜 레이블링을 조합한 하이브리드 접근 방식은 미세한 레이아웃 변형에 대한 모델의 견고성을 향상시키는 데 유망한 성과를 보였다.
• 최적화된 GNN을 통해 실시간 레이아웃 생성이 가능해졌으며, 이는 상호작용형 응용 프로그램에서 동적 문서 구조화를 가능하게 하였다.