[논문 리뷰] Table Structure Recognition using Top-Down and Bottom-Up Cues

Sachin Raja, Ajoy Mondal외 1명|arXiv (Cornell University)|2020. 10. 09.

Handwritten Text Recognition Techniques참고 문헌 54인용 수 9

한 줄 요약

이 논문은 OCR나 PDF 메타특징에 의존하지 않고 문서 이미지 내 표 구조를 인식하기 위해 상향식 셀 검출과 하향식 구조적 연관을 결합한 엔드 투 엔드 딥러닝 프레임워크인 TabStruct-Net을 제안한다. 정렬 인식 손실 함수와 그래프 기반 셀 연관 기법을 통합함으로써 여러 벤치마크 데이터셋에서 최신 기준 성능을 달성하여 복잡한 레이아웃에서 시각적 표 구조 인식의 새로운 기준을 설정한다.

ABSTRACT

Tables are information-rich structured objects in document images. While significant work has been done in localizing tables as graphic objects in document images, only limited attempts exist on table structure recognition. Most existing literature on structure recognition depends on extraction of meta-features from the PDF document or on the optical character recognition (OCR) models to extract low-level layout features from the image. However, these methods fail to generalize well because of the absence of meta-features or errors made by the OCR when there is a significant variance in table layouts and text organization. In our work, we focus on tables that have complex structures, dense content, and varying layouts with no dependency on meta-features and/or OCR. We present an approach for table structure recognition that combines cell detection and interaction modules to localize the cells and predict their row and column associations with other detected cells. We incorporate structural constraints as additional differential components to the loss function for cell detection. We empirically validate our method on the publicly available real-world datasets - ICDAR-2013, ICDAR-2019 (cTDaR) archival, UNLV, SciTSR, SciTSR-COMP, TableBank, and PubTabNet. Our attempt opens up a new direction for table structure recognition by combining top-down (table cells detection) and bottom-up (structure recognition) cues in visually understanding the tables.

연구 동기 및 목표

• 스캔된 문서 이미지 내 시각적으로 다양하게 변형된 복잡한 표 구조를 OCR이나 PDF 메타특징에 의존하지 않고 인식하는 데 도전하는 것.
• 셀 정렬, 테두리, 공간적 관계와 같은 시각적 신호를 모델링하여 표 구조 인식의 일반화 성능을 향상시키는 것.
• 셀 검출과 구조적 연관을 동시에 최적화하는 엔드 투 엔드 학습 가능한 아키텍처를 개발하는 것.
• 다중 행/열 병합 셀, 고밀도 콘텐츠, 일관되지 않은 선이 그려진 표에 대한 강건한 인식을 가능하게 하는 것.
• 상향식 검출과 하향식 구조적 추론을 융합하여 표 구조 인식의 새로운 패러다임을 설정하는 것.

제안 방법

• 문서 이미지 내 표 셀을 검출하기 위해 Mask R-CNN를 사용하는 상향식 접근 방식을 적용하고, 이후 하향식으로 표 구조를 재구성하는 방식.
• 이웃 셀 간의 공간적 정렬 제약 조건을 강제로 적용함으로써 셀 검출을 정규화하는 새로운 정렬 손실 함수 도입.
• 각 검출된 셀의 중심 수평선과 중심 수직선을 따라 시각적 특징을 모델링하기 위해 FPN의 P2 레이어 특징맵과 LSTMs 활용.
• 인접 행렬을 사용하여 검출된 셀 간의 행 및 열 연관성을 그래프 기반으로 모델링.
• 다중 작업 학습을 통해 셀 검출과 구조 인식을 동시에 최적화하는 엔드 투 엔드 학습 방식으로 TabStruct-Net 학습.
• 검출 및 구조적 추론을 위한 특징 표현을 향상시키기 위해 FPN 내 상향식 및 하향식 경로를 통합.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 OCR이나 PDF 메타특징에 의존하지 않고도 복잡한 표 구조를 인식할 수 있는가?
• RQ2 상향식 셀 검출과 하향식 구조적 연관의 융합이 표 구조 인식에 얼마나 효과적인가?
• RQ3 정렬 인식 손실 함수는 셀 검출 및 이어지는 구조 인식 성능에 얼마나 기여하는가?
• RQ4 중간 FPN 레이어와 LSTMs에서 추출한 시각적 특징의 사용이 도전적인 표 레이아웃에서의 성능에 어떤 영향을 미치는가?
• RQ5 검출과 구조적 연관의 엔드 투 엔드 공동 학습이 총합 F1 점수 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• ICDAR-2019 (cTDaR) 아카이브 데이터셋에서 TabStruct-Net은 전체 설정(Mask R-CNN + td+bu+al + dgcnn + P2 + LSTM)으로 F1 점수 0.966을 기록하여 이전 방법들을 능가했다.
• UNLV-partial 데이터셋에서 모델은 표 구조 인식에 대해 F1 점수 0.920을 기록하여 실제 세계의 복잡한 표에 대한 강력한 일반화 능력을 입증했다.
• SciTSR 데이터셋에서 모델은 표 구조 인식에 대해 F1 점수 0.935를 기록하여 다양한 표 레이아웃과 콘텐츠 밀도에 대해 강건함을 보였다.
• 제거 실험을 통해 정렬 손실(AL) 추가 및 P2 레이어 특징과 LSTMs의 사용이 검출 및 구조 인식 성능 향상에 뚜렷한 기여를 했다.
• FPN 내 상향식 및 하향식 경로의 융합(td+bu)은 모든 데이터셋에서 일관되게 F1 점수 0.5–1.5% 향상시켰다.
• ICDAR-2013, ICDAR-2019, UNLV, SciTSR 및 TableBank를 포함한 모든 평가 벤치마크에서 최고 성능을 기록하여 일반화 능력이 검증되었다.