[논문 리뷰] LGPMA: Complicated Table Structure Recognition with Local and Global Pyramid Mask Alignment

Qiao Liang, Zaisheng Li외 7명|arXiv (Cornell University)|2021. 05. 13.

Handwritten Text Recognition Techniques참고 문헌 40인용 수 8

한 줄 요약

LGPMA는 국소적이고 전역적인 피라미드 마스크 학습을 융합하여 복잡한 표 구조 인식을 위한 새로운 프레임워크를 제안한다. 이는 셀의 정렬된 경계 박스, 특히 도전적인 빈 셀까지 더 정확하게 생성한다. 국소적 텍스트 영역 검출과 전역적 셀 레이아웃 세그멘테이션을 함께 최적화하고 재순위 매기기 모듈을 활용함으로써 LGPMA는 공개 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 정렬된 경계 박스 검출 성능을 3.1% 향상시키고 TEDS-Struc 점수를 0.59 포인트 향상시켰다.

ABSTRACT

Table structure recognition is a challenging task due to the various structures and complicated cell spanning relations. Previous methods handled the problem starting from elements in different granularities (rows/columns, text regions), which somehow fell into the issues like lossy heuristic rules or neglect of empty cell division. Based on table structure characteristics, we find that obtaining the aligned bounding boxes of text region can effectively maintain the entire relevant range of different cells. However, the aligned bounding boxes are hard to be accurately predicted due to the visual ambiguities. In this paper, we aim to obtain more reliable aligned bounding boxes by fully utilizing the visual information from both text regions in proposed local features and cell relations in global features. Specifically, we propose the framework of Local and Global Pyramid Mask Alignment, which adopts the soft pyramid mask learning mechanism in both the local and global feature maps. It allows the predicted boundaries of bounding boxes to break through the limitation of original proposals. A pyramid mask re-scoring module is then integrated to compromise the local and global information and refine the predicted boundaries. Finally, we propose a robust table structure recovery pipeline to obtain the final structure, in which we also effectively solve the problems of empty cells locating and division. Experimental results show that the proposed method achieves competitive and even new state-of-the-art performance on several public benchmarks.

연구 동기 및 목표

• 복잡한 셀 병합과 모호한 빈 셀을 포함한 복잡한 표 구조 인식의 과제를 해결하기 위해.
• 국소적 텍스처와 전역적 레이아웃 특징을 활용하여 정렬된 경계 박스 예측의 신뢰성을 향상시키기 위해.
• 기존 방법에서 자주 간과되는 빈 셀을 효과적으로 검출하고 분할하는 통합 파이프라인을 개발하기 위해.
• 고비용 학습과 복잡한 레이아웃에서의 불안정성 문제를 겪는 히ュ리스틱 규칙 및 GNN 기반 접근법의 한계를 극복하기 위해.
• 특히 행/열을 가로질러 확장된 셀과 빈 셀 분할을 처리하는 데서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 국소 피라미드 마스크 정렬(LPMA)를 통한 세부적인 텍스트 영역 검출과 전역 피라미드 마스크 정렬(GPMA)을 통한 통합적 셀 레이아웃 이해를 위한 이중 브랜치 네트워크를 제안한다.
• 초기 제안 이외의 경계 예측을 가능하게 하기 위해 국소 및 전역 브랜치 모두에 소프트 피라미드 마스크 감독을 적용한다.
• 국소 및 전역 특징을 융합하여 정렬된 경계 박스 예측을 개선하는 피라미드 마스크 재순위 매기기 모듈을 도입한다.
• 정렬된 박스 검출과 GPMA에서 유도된 시각적 단서를 활용한 지능적인 빈 셀 병합을 통합한 강력한 표 구조 복원 파이프라인을 설계한다.
• 이전의 상대적 관계 기반 손실에 비해 일반화 성능을 향상시키기 위해 절대적 셀 커버리지 고려를 위한 새로운 정렬 손실을 활용한다.
• 초기 검출을 위해 Mask R-CNN을 백본으로 사용하며, 향상된 국소화 성능을 위해 다중 척도 특징 학습을 통합한다.

실험 결과

연구 질문

• RQ1 복잡한 셀 병합과 시각적 모호성을 가진 표에서 정렬된 경계 박스 검출 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 국소적 텍스처 인식과 전역적 레이아웃 추론을 융합하면 표 구조 인식의 강건성 향상에 기여하는가?
• RQ3 다중 행/열 셀과 시각적으로 유사한 빈 셀을 효과적으로 검출하고 분할할 수 있는가?
• RQ4 국소 및 전역 특징을 함께 학습하는 통합 프레임워크는 히ュ리스틱 규칙이나 GNN 기반 방법보다 성능이 뛰어나다고 할 수 있는가?
• RQ5 제안된 피라미드 마스크 재순위 매기기 메커니즘이 표준 Mask R-CNN에 비해 경계 국소화 성능을 얼마나 향상시키는가?

주요 결과

• LGPMA는 기준 모델인 Mask R-CNN 대비 정렬된 경계 박스 검출에 대해 H-mean 성능을 3.1% 향상시켰다.
• 메트릭으로 TEDS-Struc 점수는 0.59 포인트 향상되어 공개 벤치마크에서 최신 기술 수준 성능을 입증했다.
• 제안된 빈 셀 병합 전략은 빈 셀 검출에 대해 H-mean 70.21%를 기록하며 최소 및 최대 빈 셀 병합 기반 베이스라인을 초월했다.
• 정확한 비어있지 않은 정렬된 박스가 주어진 경우, 표 복원 파이프라인은 모든 정렬된 박스에 대해 H-mean 99.87%를 달성하여 그 강건성을 입증했다.
• 절단 분석 결과, LPMA, GPMA 및 재순위 매기기 모듈을 모두 조합할 경우, 정렬 손실만 사용하는 경우보다 최고의 성능을 달성함을 확인했다.
• 메서드는 텍스트 영역 검출 및 정렬된 박스 검출 양 측면에서 일관된 성능 향상을 보였으며, 이는 개선 효과가 특정 구성 요소에 국한되지 않음을 시사한다.