[논문 리뷰] Deep learning for table detection and structure recognition: A survey

Mahmoud SalahEldin Kasem, Abdelrahman Abdallah외 7명|arXiv (Cornell University)|2022. 11. 15.

Handwritten Text Recognition Techniques인용 수 7

한 줄 요약

이 종합 검토는 문서 이미지 내 표 검출 및 구조 인식을 위한 딥러닝 접근법에 대한 체계적인 분석을 제공하며, 방법론, 데이터셋, 오픈소스 구현을 체계적으로 분류한다. 기준 데이터셋에서 최신 기술 성능을 강조하고, 자동화된 표 이해 분야의 주요 과제와 향후 연구 방향을 밝힌다.

ABSTRACT

Tables are everywhere, from scientific journals, papers, websites, and newspapers all the way to items we buy at the supermarket. Detecting them is thus of utmost importance to automatically understanding the content of a document. The performance of table detection has substantially increased thanks to the rapid development of deep learning networks. The goals of this survey are to provide a profound comprehension of the major developments in the field of Table Detection, offer insight into the different methodologies, and provide a systematic taxonomy of the different approaches. Furthermore, we provide an analysis of both classic and new applications in the field. Lastly, the datasets and source code of the existing models are organized to provide the reader with a compass on this vast literature. Finally, we go over the architecture of utilizing various object detection and table structure recognition methods to create an effective and efficient system, as well as a set of development trends to keep up with state-of-the-art algorithms and future research. We have also set up a public GitHub repository where we will be updating the most recent publications, open data, and source code. The GitHub repository is available at https://github.com/abdoelsayed2016/table-detection-structure-recognition.

연구 동기 및 목표

• 문서 이미지 내 표 검출 및 구조 인식을 위한 딥러닝 방법에 대한 체계적 분류 체계를 제공하기 위해.
• ICDAR-2013, ICDAR-2017-POD, ICDAR-2019, UNLV와 같은 주요 벤치마크 데이터셋에서 최신 기술 모델의 성능을 분석하기 위해.
• 공개 가능한 데이터셋, 모델, 소스 코드를 수집하고 정리하여 재현 가능성과 향후 연구를 지원하기 위해.
• 복잡한 레이아웃 처리 및 도메인 간 일반화 문제와 같은 표 검출 및 구조 인식 분야의 현재 한계와 새로운 추세를 규명하기 위해.
• 객체 검출 및 구조 인식 파이프라인 평가를 통해 연구자와 실무자들이 효과적인 시스템 설계를 할 수 있도록 안내하기 위해.

제안 방법

• 네트워크 아키텍처와 학습 전략을 기반으로 체계적인 분류 체계를 활용해 기존 접근법을 표 검출 및 구조 인식 하위 작업으로 분류하기 위해.
• ICDAR-2013, ICDAR-2017-POD, ICDAR-2019, UNLV와 같은 널리 사용되는 벤치마크에서 정밀도, 재현도, F1-스코어, 교차 영역 비율(IoU)과 같은 표준 지표를 사용해 방법의 성능 평가하기 위해.
• 표 검출에 대해 Faster R-CNN, YOLO, RetinaNet, 완전 컨volution 네트워크(FCNs)와 같은 딥러닝 프레임워크를 조사하고, 구조 인식에 대해 순차적 모델 또는 CNN 기반 아키텍처를 분석하기 위해.
• 전이 학습, 데이터 증강, 후처리 기법이 검출 및 인식 정확도 향상에 미치는 영향 분석하기 위해.
• 객체 검출 및 구조 인식 파이프라인을 통합하여 종단 간 표 이해를 위한 유일한 프레임워크로 통합하기 위해.
• 지속적인 업데이트와 커뮤니티 기여를 위해 데이터셋, 모델, 소스 코드에 대한 정리된 링크를 포함한 공개 GitHub 리포지터리 운영 및 유지보수하기 위해.

실험 결과

연구 질문

• RQ1 현대적인 표 검출 및 구조 인식 시스템에서 주로 사용되는 딥러닝 아키텍처와 학습 전략는 무엇인가요?
• RQ2 정밀도, 재현도, F1-스코어 측면에서 ICDAR-2013, ICDAR-2017-POD, ICDAR-2019, UNLV와 같은 표준 벤치마크에서 다양한 모델의 성능은 어떻게 비교되나요?
• RQ3 복잡한 레이아웃, 다양한 포맷팅, 저품질 스캔을 처리하는 데 있어 주요 과제는 무엇인가요?
• RQ4 종단 간 표 이해 파이프라인에서 객체 검출 및 구조 인식 구성 요소는 어떻게 상호작용합니까?
• RQ5 이 분야의 연구를 진전시키기 위해 가장 효과적인 오픈소스 프레임워크, 데이터셋, 구현 방법은 무엇인가요?

주요 결과

• 최신 표 검출 모델은 표준 벤치마크 데이터셋에서 거의 완벽한 성능을 달성하며, CascadeTabNet 및 SciTSR와 같은 객체 검출 기반 방법을 사용해 ICDAR-2013에서 F1-스코어가 95%를 초과한다.
• ICDAR-2019 데이터셋은 더 도전적인 성능을 보이며, KA Hashmi 방법이 최고의 F1-스코어 95.46%를 기록하여 복잡한 레이아웃 처리에 여전히 과제가 존재함을 시사한다.
• 구조 인식은 여전히 한계로 남아 있으며, X. Zheng 방법에서 보고된 최고의 F1-스코어는 54.8%에 그쳐 셀 세그멘테이션 및 레이아웃 파싱 분야에서 향상 여지가 크다는 점을 시사한다.
• 완전 컨volution 네트워크(FCNs)와 종단 간 학습 가능한 모델의 사용은 유망한 방향성을 보이지만, 비정규 또는 고밀도 표를 포함한 데이터셋에서는 검출 작업에 비해 여전히 성능이 열등하다.
• 오픈소스 구현은 주로 PyTorch와 TensorFlow 기반으로 제작되었으며, PubTabNet 및 TableBank 등의 GitHub 리포지터리가 재현 가능성과 모델 최적화를 가능하게 한다.
• 높은 검출 정확도에도 불구하고, 특히 복잡한 표를 포함한 데이터셋에서는 구조 세그멘테이션과 데이터 추출이 일관성 없이 나타나며, 더 나은 레이아웃 모델링과 일반화 능력 향상의 필요성을 시사한다.