[논문 리뷰] Neural Collaborative Graph Machines for Table Structure Recognition

Hao Liu, Xin Li외 4명|arXiv (Cornell University)|2021. 11. 26.

Handwritten Text Recognition Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 다양한 도전적인 상황에서 표 구조 인식(TSR)을 향상시키기 위해 내부 및 상호 모odal 간 상호작용을 계층적으로 모델링하는 새로운 그래프 신경망 프레임워크인 신경 협업 그래프 기계(Neural Collaborative Graph Machines, NCGM)를 제안한다. 내부 모달 간의 맥락 추출과 상호 모달 융합을 번갈아가며 구성된 협업 블록을 스택하여 NCGM는 특히 왜곡되거나 복잡한 표에서 기존 방법에 비해 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Recently, table structure recognition has achieved impressive progress with the help of deep graph models. Most of them exploit single visual cues of tabular elements or simply combine visual cues with other modalities via early fusion to reason their graph relationships. However, neither early fusion nor individually reasoning in terms of multiple modalities can be appropriate for all varieties of table structures with great diversity. Instead, different modalities are expected to collaborate with each other in different patterns for different table cases. In the community, the importance of intra-inter modality interactions for table structure reasoning is still unexplored. In this paper, we define it as heterogeneous table structure recognition (Hetero-TSR) problem. With the aim of filling this gap, we present a novel Neural Collaborative Graph Machines (NCGM) equipped with stacked collaborative blocks, which alternatively extracts intra-modality context and models inter-modality interactions in a hierarchical way. It can represent the intra-inter modality relationships of tabular elements more robustly, which significantly improves the recognition performance. We also show that the proposed NCGM can modulate collaborative pattern of different modalities conditioned on the context of intra-modality cues, which is vital for diversified table cases. Experimental results on benchmarks demonstrate our proposed NCGM achieves state-of-the-art performance and beats other contemporary methods by a large margin especially under challenging scenarios.

연구 동기 및 목표

• 이질적인 표 구조에서 모달 간 협업에 대한 탐색 부족 문제를 해결하기 위해, 특히 왜곡 및 복잡성 상황에서의 적용을 고려한다.
• 이질적인 표 구조 인식(Hetero-TSR)이라는 새로운 문제 정의를 제안하며, 시각적, 기하학적, 콘텐츠 모달 간의 동적 협업을 강조한다.
• 내부 모달 맥락에 기반해 협업 패턴을 적응적으로 조절할 수 있는 딥 러닝 프레임워크를 설계하여 다양한 표 유형에서의 강건한 성능을 확보한다.
• 조기 융합 또는 만기 융합 전략의 한계를 극복하기 위해, 모달 간 상호작용을 효과적으로 통합하지 못하거나 너무 이르게 모달을 혼합하는 문제를 해결한다.
• 모바일로 촬영한, 왜곡되거나 복잡한 표를 포함한 실제 환경에서 더 정확하고 일반화 능력이 뛰어난 표 구조 인식을 가능하게 한다.

제안 방법

• 텍스트 세그먼트의 경계 상자들을 노드로 사용하여 시각, 기하학, 콘텐츠의 세 모달에 대해 별도의 그래프를 구성한다.
• 기본 협업 블록을 도입하며, 이는 모달 전용 맥락 표현을 동적으로 생성하는 Ego Context Extractor(ECE)와 상호 모달 간 상호작용 융합 및 조절을 수행하는 Cross Context Synthesizer(CCS)로 구성된다.
• ECE는 다중 헤드 자기주의 어텐션을 사용하여 노드 특징과 그래프 구조에 기반해 모달 전용 맥락 표현을 생성한다.
• CCS는 학습 가능한 어텐션 메커니즘을 활용해 동적으로 조절하고 상호 모달 정보를 융합하여 맥락 인식 협업을 가능하게 한다.
• 다중 협업 블록을 계층적으로 스택하여 저수준 및 고수준 표현이 모달 간에 점진적으로 상호작용하도록 한다.
• 표현 품질 향상과 일반화 능력 향상을 위해 대비 학습 목표를 사용해 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 다양한 모달 간의 동적이고 맥락 인식 협업이 조기 융합 또는 만기 융합을 초월해 표 구조 인식 성능을 향상시킬 수 있는가?
• RQ2 내부 및 상호 모달 간 상호작용은 왜곡되거나 복잡한 표를 인식하는 데 있어 어떤 기여를 하는가?
• RQ3 모델은 각 모달의 내재적 특성과 전체 표 구조에 따라 협업 패턴을 적응적으로 조정할 수 있는가?
• RQ4 모달 다양성과 상호작용 역학은 특히 도전적인 상황에서 인식 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 계층적 협업 메커니즘은 표 관계를 모델링하는 데 있어 표준 어텐션 또는 그래프 신경망과 비교해 어떻게 다른가?

주요 결과

• NCGM는 벤치마크 데이터셋에서 최상의 성능(SOTA)을 달성하여 기존 방법인 GraphTSR, DGCNN, TabStruct-Net, FLAG-Net을 모두 앞서나간다.
• 더 도전적인 TUX 및 PubLayNet 데이터셋에서 NCGM는 기준 모델 대비 뚜렷한 성능 격차를 보이며, 특히 왜곡되거나 비정상적인 표 구조를 처리하는 데 뛰어난 성능을 발휘한다.
• 특히 병합 셀이나 정렬이 어긋난 상황에서 행 및 열 구조 예측 오류율을 감소시킨다.
• 제거 실험 결과에 따르면 Ego Context Extractor와 Cross Context Synthesizer 모두 성능 향상에 필수적이며, CCS가 상호 모달 협업 향상에 가장 큰 기여를 한다.
• Jensen-Shannon Divergence 분석 결과 CCS는 어텐션 맵의 다양성을 증가시켜 더 효과적이고 다양한 상호 모달 상호작용 패턴을 유도함을 보여준다.
• 정성적 결과는 NCGM가 중첩형 및 복잡한 레이아웃을 포함한 다양한 표 유형으로 잘 일반화됨을 보여주지만, 중첩 표에서 심한 정렬 오류에는 여전히 어려움을 겪는다.