[논문 리뷰] Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection

Shi-Xue Zhang, Xiaobin Zhu외 5명|arXiv (Cornell University)|2020. 03. 17.

Handwritten Text Recognition Techniques참고 문헌 42인용 수 20

한 줄 요약

이 논문은 CNN 기반의 텍스트 프로포절 네트워크와 GCN 기반의 상호관계 추론 네트워크를 연결하기 위해 局소 그래프를 활용하는 종합적인 엔드 투 엔드 학습이 가능한 딥 관계 추론 그래프 네트워크(DRRG)를 제안한다. 그래프 컨volutional 네트워크를 통해 구성 요소 간의 관계를 모델링함으로써 DRRG는 최신 성능을 달성하며, ICDAR2015에서 86.56%의 H-mean, CTW1500에서 84.45%의 성능을 기록한다.

ABSTRACT

Arbitrary shape text detection is a challenging task due to the high variety and complexity of scenes texts. In this paper, we propose a novel unified relational reasoning graph network for arbitrary shape text detection. In our method, an innovative local graph bridges a text proposal model via Convolutional Neural Network (CNN) and a deep relational reasoning network via Graph Convolutional Network (GCN), making our network end-to-end trainable. To be concrete, every text instance will be divided into a series of small rectangular components, and the geometry attributes (e.g., height, width, and orientation) of the small components will be estimated by our text proposal model. Given the geometry attributes, the local graph construction model can roughly establish linkages between different text components. For further reasoning and deducing the likelihood of linkages between the component and its neighbors, we adopt a graph-based network to perform deep relational reasoning on local graphs. Experiments on public available datasets demonstrate the state-of-the-art performance of our method.

연구 동기 및 목표

• 기존 방법들이 정적 기하학적 가정으로 인해 어려움을 겪는 임의의 형태의 곡선 및 다중 방향의 스트리트 텍스트 검출 문제를 해결한다.
• 연결된 구성 요소(CC)-기반 방법에서 규칙 기반 또는 임bedding 기반 그룹화의 한계를 극복하기 위해 안정적이고 데이터 기반의 관계 구조를 학습한다.
• CNN 기반의 텍스트 프로포절 네트워크와 GCN 기반의 관계 추론 네트워크 간의 엔드 투 엔드 학습을 가능하게 하는 새로운 국소 그래프 모듈을 도입한다.
• 그래프 기반 추론을 통해 기하학적 및 공간적 관계를 모델링하여 장거리, 곡선형, 조밀하게 배치된 텍스트 인스턴스의 검출 정확도와 강건성을 향상시킨다.
• 다양한 벤치마크에서 다각형 및 사다리형 데이터셋을 포함해 최신 성능을 달성하며, 다양한 텍스트 형태와 방향에 대한 일반화 능력을 입증한다.

제안 방법

• 각 텍스트 인스턴스를 작은 사각형 구성 요소로 분할하고, CNN 기반의 텍스트 프로포절 네트워크를 통해 높이, 너비, 방향 등의 기하 속성을 추정한다.
• 각 텍스트 인스턴스에 대해 국소 그래프를 구성하며, 각 구성 요소를 노드로, 기하학적 근접성과 방향 유사성 기반의 잠재적 연결을 간선으로 정의한다.
• 국소 그래프에서 깊이 있는 관계 추론을 수행하기 위해 그래프 컨volutional 네트워크(GCN)를 적용하여 구성 요소 간 진짜 연결 가능성의 정도를 추론한다.
• GCN가 예측한 연결 스코어를 활용해 후처리 단계에서 그룹화를 유도하며, 학습된 관계 신뢰도에 기반해 구성 요소를 완전한 텍스트 인스턴스로 통합한다.
• 텍스트 프로포절 네트워크와 관계 추론 네트워크 간의 엔드 투 엔드 학습을 가능하게 하는 미분 가능한 국소 그래프 구축 모듈을 설계한다.
• 다양한 스트리트 텍스트 척도와 종횡비에 일반화를 향상시키기 위해 다중 척도 데이터 증강 및 이미지 리사이징 전략(최소 변 길이 512 또는 960, 최대 변 길이 제한)을 활용한다.

실험 결과

연구 질문

• RQ1 규칙 기반 또는 임베딩 기반 방법과 비교해 기반 그래프의 관계 추론 메커니즘이 임의의 형태의 텍스트 검출에서 분리된 구성 요소의 그룹화를 향상시킬 수 있는가?
• RQ2 GCN 기반 네트워크가 텍스트 구성 요소 간의 장거리 및 비연접 관계를 얼마나 잘 모델링할 수 있는가? 이는 곡선형 및 다중 방향 텍스트 검출 성능 향상에 기여하는가?
• RQ3 미분 가능한 국소 그래프를 통합함으로써 CNN 기반 프로포절 네트워크와 GCN 기반 추론 네트워크 간의 엔드 투 엔드 성능이 계단식 또는 비미분 가능한 파이프라인보다 향상되는가?
• RQ4 다양한 벤치마크에서 장거리, 곡선형, 조밀하게 배치된 텍스트 인스턴스를 검출할 때 제안된 방법이 최신 기술과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 프레임워크는 아키텍처 수정 없이도 다양한 텍스트 형태(다각형, 사다리형)와 다국어 환경에서 일반화 가능한가?

주요 결과

• 제안된 DRRG 방법은 ICDAR2015 데이터셋에서 86.56%의 H-mean 성능을 기록하며, 이는 FOTS(85.31%) 및 ATRR(86.8%)와 같은 이전 최신 기술을 뛰어넘는다.
• CTW1500 데이터셋에서 DRRG는 84.45%의 H-mean과 83.02%의 리콜을 달성하며, TextSnake 대비 H-mean에서 8.85% 향상되어 곡선형 및 다중 방향 텍스트에서 뛰어난 성능을 보인다.
• MSRA-TD500 데이터셋에서 DRRG는 85.08%의 H-mean 성능을 기록하여 장거리 및 척도가 변하는 텍스트 인스턴스 검출에서 강건성을 입증한다.
• ICDAR2017 MLT에서 메서드는 67.31%의 H-mean 성능을 기록하며, FOTS(67.25%) 및 LOMO(68.5%)와 같은 대부분의 기존 방법을 능가하여 다국어 환경에서의 강력한 일반화 능력을 보여준다.
• 절단 실험을 통해 GCN 기반의 관계 추론 모듈이 복잡한 시나리오(겹치는 또는 곡선형 텍스트 포함)에서 검출 성능을 크게 향상시킨다는 것이 확인되었다.
• 미분 가능한 국소 그래프를 통한 엔드 투 엔드 학습 설계는 비미분 가능한 그룹화 모듈에 비해 더 나은 최적화 및 더 안정적인 예측을 가능하게 한다.