[논문 리뷰] TRUST: An Accurate and End-to-End Table structure Recognizer Using Splitting-based Transformers

Zeng-Yuan Guo, Yuechen Yu외 7명|arXiv (Cornell University)|2022. 08. 31.

Handwritten Text Recognition Techniques인용 수 10

한 줄 요약

TRUST는 Query 기반 분할 모듈과 정점 기반 병합 모듈를 사용하여 다중 방향 분할과 정점 유도 병합을 통해 테이블 구조 인식을 분리하는 엔드 투 엔드, 트랜스포머 기반 방법을 제안한다. 이는 PubTabNet과 SynthTable에서 최신 기준 성능을 달성하며, 10 FPS로 빠르게 작동하여 이전 방법들보다 현저히 빠르다. PubTabNet에서 97.1%의 Structure TEDS와 96.2%의 TEDs를 기록한다.

ABSTRACT

Table structure recognition is a crucial part of document image analysis domain. Its difficulty lies in the need to parse the physical coordinates and logical indices of each cell at the same time. However, the existing methods are difficult to achieve both these goals, especially when the table splitting lines are blurred or tilted. In this paper, we propose an accurate and end-to-end transformer-based table structure recognition method, referred to as TRUST. Transformers are suitable for table structure recognition because of their global computations, perfect memory, and parallel computation. By introducing novel Transformer-based Query-based Splitting Module and Vertex-based Merging Module, the table structure recognition problem is decoupled into two joint optimization sub-tasks: multi-oriented table row/column splitting and table grid merging. The Query-based Splitting Module learns strong context information from long dependencies via Transformer networks, accurately predicts the multi-oriented table row/column separators, and obtains the basic grids of the table accordingly. The Vertex-based Merging Module is capable of aggregating local contextual information between adjacent basic grids, providing the ability to merge basic girds that belong to the same spanning cell accurately. We conduct experiments on several popular benchmarks including PubTabNet and SynthTable, our method achieves new state-of-the-art results. In particular, TRUST runs at 10 FPS on PubTabNet, surpassing the previous methods by a large margin.

연구 동기 및 목표

• 회전, 투시 휘어짐, 선이 없는, 또는 빈 셀이 있는 복잡한 시나리오에서 테이블 구조를 정확하게 인식하는 데 도전한다.
• 기존의 구성 요소 기반 및 시퀀스 기반 방법의 한계를 극복한다. 이는 경계의 모호성, 낮은 일반화 능력 또는 정확도가 떨어지는 셀 회귀 문제를 야기한다.
• 행/열 분할과 격자 병합을 동시에 최적화하는 엔드 투 엔드 프레임워크를 설계하여 구조 정확도를 향상시킨다.
• 특히 실제 문서 이미지 시나리오에서 실시간 추론(10 FPS)을 유지하면서도 높은 정확도를 확보한다.

제안 방법

• 특징 추출을 위해 FPN를 갖춘 컨volutional 백본을 사용하고, 그 다음 트랜스포머 기반 인코더-디코더 아키텍처를 적용한다.
• 각도 분류와 시작점 회귀를 통해 자기 및 상호 어텐션을 사용하여 다중 방향의 행 및 열 구분선을 예측하는 Query 기반 분할 모듈을 도입한다.
• 예측된 구분선의 교차점(정점)에서 특징을 계산하고, 자기 어텐션을 사용하여 네 방향으로의 병합 결정을 예측하는 정점 기반 병합 모듈을 활용한다.
• 병합 모듈에서 행 및 열 특징 간의 교차 특징 강화를 적용하여 맥락 모델링 및 병합 정확도를 향상시킨다.
• 전체 모델을 엔드 투 엔드로 훈련하여 분할 및 병합 작업의 공동 최적화를 가능하게 한다.
• 시각적 및 구조적 특징 간의 장거리 의존성을 모델링하기 위해 멀티헤드 자기 및 상호 어텐션 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 통합된 엔드 투 엔드 트랜스포머 기반 프레임워크가 기존의 분할 기반 방법보다 정확도와 속도 면에서 뛰어나게 성능을 내는가?
• RQ2 기존의 분할 모델 대비 Query 기반 분할 모듈이 다중 방향, 흐릿하거나 기울인 테이블 구분선을 다룰 때 얼마나 효과적인가?
• RQ3 히우리스틱 또는 별도의 병합 모델 대비 정점 기반 병합 모듈이 확장 셀 및 빈 셀의 병합 정확도를 얼마나 향상시키는가?
• RQ4 병합 모듈에서의 교차 특징 강화가 투시 왜곡이나 라인이 누락된 복잡한 테이블에서 성능 향상에 기여하는가?
• RQ5 제안된 방법이 PubTabNet과 SynthTable와 같은 도전적인 벤치마크에서 실시간 추론(10 FPS)을 유지하면서도 높은 정확도를 유지를 할 수 있는가?

주요 결과

• TRUST는 PubTabNet에서 97.1%의 Structure TEDS와 96.2%의 TEDs를 기록하여 이전 최고 성능 방법들보다 유의미하게 뛰어나다.
• Query 기반 분할 모듈은 장거리 맥락 모델링이 향상되어 SPLERGE 분할 모델 대비 Structure TEDS에서 2.3% 향상되고 TEDs에서 2.8% 향상된다.
• 정점 기반 병합 모듈를 히우리스틱 후처리로 대체하면 성능이 88.3%의 Structure TEDS와 85.4%의 TEDs로 떨어지며, 이는 병합 정확도 향상에 있어 그 중요성을 입증한다.
• 병합 모듈에서 교차 특징 강화를 제거하면 Structure TEDS가 97.1%에서 90.6%로 떨어지며, 이는 성능 향상에 있어 그 중요성을 입증한다.
• TRUST는 PubTabNet에서 10 FPS로 작동하여 현재까지 가장 빠른 테이블 구조 인식 방법이 되었으며, SEM(1.94 FPS)과 EDD(1 FPS)를 뛰어넘었다.
• SynthTable 데이터셋에서 TRUST는 가장 도전적인 카테고리(C4: 기울임 및 투시 변환된 테이블)에서 92.4%의 TEDs를 기록하여 EDD와 SPLERGE를 크게 능가한다.