[논문 리뷰] VSR: A Unified Framework for Document Layout Analysis combining Vision, Semantics and Relations

Peng Zhang, Can Li외 5명|arXiv (Cornell University)|2021. 05. 13.

Handwritten Text Recognition Techniques참고 문헌 42인용 수 7

한 줄 요약

VSR는 시각, 의미론(문자 및 문장 수준), 그리고 그래프 신경망을 통한 관계 추론을 통합하는 유일한 딥러닝 프레임워크를 제안한다. 두 개의 스트림으로 구성된 네트워크와 적응형 특징 융합, 그리고 구성 요소 예측을 정밀화하기 위한 관계 모듈을 사용함으로써, VSR는 PubLayNet, FUNSD, SROIE 세 가지 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, PubLayNet 데이터셋에서 92.3%의 mAP를 기록하였다.

ABSTRACT

Document layout analysis is crucial for understanding document structures. On this task, vision and semantics of documents, and relations between layout components contribute to the understanding process. Though many works have been proposed to exploit the above information, they show unsatisfactory results. NLP-based methods model layout analysis as a sequence labeling task and show insufficient capabilities in layout modeling. CV-based methods model layout analysis as a detection or segmentation task, but bear limitations of inefficient modality fusion and lack of relation modeling between layout components. To address the above limitations, we propose a unified framework VSR for document layout analysis, combining vision, semantics and relations. VSR supports both NLP-based and CV-based methods. Specifically, we first introduce vision through document image and semantics through text embedding maps. Then, modality-specific visual and semantic features are extracted using a two-stream network, which are adaptively fused to make full use of complementary information. Finally, given component candidates, a relation module based on graph neural network is incorported to model relations between components and output final results. On three popular benchmarks, VSR outperforms previous models by large margins. Code will be released soon.

연구 동기 및 목표

• 기존의 문서 레이아웃 분석 방법이 모odal 융합을 忽시하거나 구성 요소 간의 관계 추론이 부족한 점을 해결하기 위해.
• 문서 이미지의 시각적 특징과 다중 해상도 의미 표현(문자 및 문장 수준)을 통합하여 레이아웃 이해를 향상시키기 위해.
• 다중 척도 적응형 집합 모듈을 갖춘 두 개의 스트림 아키텍처를 통해 시각과 의미론 간의 효과적이고 적응형 융합을 가능하게 하기 위해.
• 그래프 신경망 기반의 관계 모듈을 통해 레이아웃 구성 요소 간의 구조적 및 의미적 관계를 모델링하여 예측 정확도를 향상시키기 위해.
• NLP 기반(시퀀스 레이블링) 및 CV 기반(객체 검출/세그멘테이션) 접근 방식과 모두 호환 가능한 통합 프레임워크를 제공하기 위해.

제안 방법

• VSR는 시각적 정보와 의미론적 정보를 모두 포괄하기 위해 문서 이미지와 문자 및 문장 수준의 텍스트 임베딩 맵을 입력으로 처리한다.
• 두 개의 스트림 컨볼루션 네트워크가 각각 시각적 및 의미론적 특징을 독립적으로 추출하여 작업에 특화된 표현을 유지한다.
• 다중 스케일에서 시각적 및 의미론적 특징을 융합하기 위한 적응형 집합 모듈이 동적으로 주목할 만한 특징을 강조하는 가중치를 학습한다.
• 구성 요소 후보는 NLP 기반 모드에서는 토큰 시퀀스를, CV 기반 모드에서는 검출/세그멘테이션 헤드를 통해 생성된다.
• 그래프 신경망 기반의 관계 모듈이 구성 요소 간 상호 관계(예: 그림-그림 설명, 정렬된 단락)를 모델링하여 좌표 및 의미 레이블을 정밀하게 보정한다.
• 최종 출력은 관계 추론를 통해 예측을 보정함으로써 일관성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 시각, 의미론, 관계 추론을 효과적으로 통합한 통합 프레임워크가 단일 모odal 또는 단순 다중 모adal 방법을 초월하여 문서 레이아웃 분석 성능을 향상시킬 수 있는가?
• RQ2 다중 해상도 의미 표현(문자 및 문장 수준)이 다양한 문서 구성 요소의 인식에 어떤 영향을 미치는가?
• RQ3 입력 수준 또는 결정 수준의 연결 방식에 비해, 시각과 의미론 간의 적응형 특징 융합이 성능 향상에 얼마나 기여하는가?
• RQ4 그래프 신경망 기반의 관계 모델링이 잘못된 예측(거짓 양성)을 줄이고 구성 요소 간 레이블 일관성을 향상시키는 데 얼마나 효과적인가?
• RQ5 제안된 프레임워크가 NLP 기반 및 CV 기반 레이아웃 분석 파이프라인에 모두 탄력적으로 적용될 수 있는가?

주요 결과

• VSR는 PubLayNet 벤치마크에서 92.3%의 mAP를 기록하여 이전 최신 기술 수준의 모델(89.8% mAP)을 크게 앞서며, 단일 모달 및 단일 스트림 다중 모달 기반 베이스라인을 모두 초월한다.
• 관계 모듈을 추가함으로써 VSR의 mAP는 2.2% 향상되었고, Faster R-CNN의 경우 5.3% 향상되어 관계 추론이 예측 보정에 효과적임을 입증한다.
• 적응형 집합 기반의 두 개의 스트림 네트워크는 최고의 mAP(92.3%)를 기록했으며, 13.94 FPS로 실시간 추론 능력을 보였다.
• 문자 수준과 문장 수준의 의미론을 모두 사용할 경우, 단지 문자 수준 의미론만 사용할 경우(67.1%에서 87.3%) mAP가 20.1% 향상되었다.
• 품질 분석 결과에서 관계 모듈이 중복 예측을 줄이고 좌표 및 레이블 일관성을 향상시키며, 잘못 레이블링되거나 겹치는 구성 요소를 수정하는 것으로 확인되었다.
• 제거 분석 결과, 입력 수준 또는 결정 수준의 연결 방식에 비해 적응형 융합이 우월함을 확인하였으며, VSR는 92.3% mAP를 기록한 반면, 입력 수준 융합은 86.2%, 결정 수준 융합은 91.4%를 기록하였다.