[논문 리뷰] Doc-GCN: Heterogeneous Graph Convolutional Networks for Document Layout Analysis

Siwen Luo, Yihao Ding외 3명|UWA Profiles and Research Repository (UWA)|2022. 08. 22.

Handwritten Text Recognition Techniques인용 수 7

한 줄 요약

Doc-GCN는 문서 레이아웃 구성 요소의 문법적, 의미적, 텍스트 밀도, 시각적 외관이라는 네 가지 별개의 특징을 통합하는 이질적 그래프 컨볼루션 네트워크를 제안한다. 이를 통해 레이아웃 분류 성능을 향상시킨다. 각 특징 유형에 대해 별도의 그래프를 구성하고 노드 수준의 풀링을 적용한 그래프 컨볼루션을 통해 구성 요소 간의 상호관계를 포착하며, PubLayNet, FUNSD, DocBank 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recognizing the layout of unstructured digital documents is crucial when parsing the documents into the structured, machine-readable format for downstream applications. Recent studies in Document Layout Analysis usually rely on computer vision models to understand documents while ignoring other information, such as context information or relation of document components, which are vital to capture. Our Doc-GCN presents an effective way to harmonize and integrate heterogeneous aspects for Document Layout Analysis. We first construct graphs to explicitly describe four main aspects, including syntactic, semantic, density, and appearance/visual information. Then, we apply graph convolutional networks for representing each aspect of information and use pooling to integrate them. Finally, we aggregate each aspect and feed them into 2-layer MLPs for document layout component classification. Our Doc-GCN achieves new state-of-the-art results in three widely used DLA datasets.

연구 동기 및 목표

• 기존 DLA 모델이 시각적 또는 텍스트적 특징에만 의존하는 한계를 해결하기 위해 레이아웃 구성 요소의 다수의 이질적 특징을 통합하는 것.
• 그래프 기반 표현을 통해 문서 레이아웃 구성 요소 간의 구조적 및 상관관계적 의존성을 모델링하는 것.
• 그래프 컨볼루션 및 풀링 메커니즘을 통해 다양한 특징 유형을 조율하여 문서 구성 요소 분류 정확도를 향상시키는 것.
• 의미적 및 시각적 특징 외에도 문법적 및 밀도 특징을 통합할 경우 레이아웃 분석 성능 향상이著명하게 이루어지는지 입증하는 것.

제안 방법

• 다른 노드 초기화 방법을 사용하여 문법적, 의미적, 밀도, 외관 특징 각각에 대해 6개의 별도 그래프를 구성한다.
• 각 그래프 내에서 이웃 노드의 특징을 집계하여 노드 임베딩을 업데이트하기 위해 그래프 컨볼루션 네트워크(GCN)를 적용한다.
• 노드 수준의 풀링(특히 최대 풀링)을 사용하여 각 특징 유형에 대한 그래프 수준의 표현을 집계한다.
• 모든 네 가지 특징 유형에서 얻은 풀링된 표현을 결합하여 각 레이아웃 구성 요소에 대한 통합 특징 벡터를 생성한다.
• 최종 특징 벡터를 두 층으로 구성된 다층퍼셉트론(MLP)에 입력하여 사전 정의된 레이아웃 카테고리로 분류한다.
• 레이아웃 구성 요소 분류의 교차 엔트로피 손실을 최적화하여 문서 페이지 수준 데이터에서 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 문법적, 의미적, 밀도 및 외관 특징과 같은 다수의 이질적 특징을 효과적으로 통합하여 문서 레이아웃 분석 성능을 향상시킬 수 있는가?
• RQ2 그래프 구조를 통해 구성 요소 간의 상호관계를 모델링할 경우 레이아웃 분류 정확도에 어떤 영향을 미치는가?
• RQ3 어떤 특징 유형 조합과 풀링 전략 조합이 문서 레이아웃 분류에서 최고의 성능을 낼 수 있는가?
• RQ4 그래프 기반 접근 방식이 시각적 또는 텍스트적 특징에만 의존하는 기존 모델을 능가할 수 있는가?

주요 결과

• Doc-GCN는 PubLayNet에서 F1 스코어 98.63%, FUNSD에서 85.49%, DocBank에서 91.83%를 기록하여 모든 베이스라인을 초월하는 최신 기술 수준 성능을 달성했다.
• 문법적 및 밀도 특징의 통합은 세 데이터셋 모두에서 성능 향상을 이끌었으며, 특히 FUNSD에서 기준 모델 대비 F1 스코어가 +6.62% 향상되었다.
• 모든 데이터셋에서 최대 풀링이 가장 뛰어난 성능을 보였으며, FUNSD에서는 평균 및 최소 풀링 대비 F1 스코어가 약 3% 향상되었다.
• 모델는 뛰어난 일반화 능력을 보였으며, RoBERTa와 Faster R-CNN이 실패한 'List' 및 'Text'와 같은 어려운 구성 요소를 정확히 분류했다.
• 대규모 사전 훈련(예: Doc-GCN-L)은 성능을 추가로 향상시켰으며, 모든 세 데이터셋에서 BERT-L, RoBERTa-L, LayoutLM-L를 모두 능가했다.
• 제거 실험을 통해 네 가지 특징 유형 모두가 긍정적인 기여를 했으며, 의미적 및 외관 특징이 가장 강력한 영향을 미쳤고, 문법적 및 밀도 특징은 필수적인 보완적 기여를 했다.