[논문 리뷰] Improving Rotated Text Detection with Rotation Region Proposal Networks

Jing Huang, Viswanath Sivakumar외 2명|arXiv (Cornell University)|2018. 11. 16.

Digital Media Forensic Detection참고 문헌 1인용 수 14

한 줄 요약

이 논문은 Faster R-CNN 내 표준 RPN을 회전 경계 박스 예측을 위한 회전 영역 제안 네트워크(RRPN)로 대체하여 현장 이미지 내 회전 텍스트 검출을 향상시키는 방법을 제안한다. RRoI-Align를 사용해 더 나은 특징 정렬을 이루고, 대칭적인 $(-90^\circ, 90^\circ)$ 방향 범위를 적용한다. 이로 인해 회전 텍스트 검출 정확도가 크게 향상되며, int8 정량화와 최적화된 CPU 연산자 덕분에 추론 속도를 유지한다.

ABSTRACT

A significant number of images shared on social media platforms such as Facebook and Instagram contain text in various forms. It's increasingly becoming commonplace for bad actors to share misinformation, hate speech or other kinds of harmful content as text overlaid on images on such platforms. A scene-text understanding system should hence be able to handle text in various orientations that the adversary might use. Moreover, such a system can be incorporated into screen readers used to aid the visually impaired. In this work, we extend the scene-text extraction system at Facebook, Rosetta, to efficiently handle text in various orientations. Specifically, we incorporate the Rotation Region Proposal Networks (RRPN) in our text extraction pipeline and offer practical suggestions for building and deploying a model for detecting and recognizing text in arbitrary orientations efficiently. Experimental results show a significant improvement on detecting rotated text.

연구 동기 및 목표

• 표준 객체 검출기가 회전된 현장 텍스트, 특히 20° 정도의 낮은 각도에서 떨어진 성능을 보이는 문제를 해결하기 위해.
• 사회 미디어 플랫폼의 안전성과 접근성 향상을 위해 임의의 방향으로 텍스트를 종단 간 검출할 수 있도록 하기 위해.
• 모델 정량화와 최적화된 연산자로 회전 텍스트 검출을 지원하면서도 추론 효율성을 유지하기 위해.
• 로세타와 같은 텍스트 검출 시스템의 오류율을 낮추기 위해 수평이 아닌 텍스트를 더 정확히 처리하기 위해.

제안 방법

• Faster R-CNN 내 표준 영역 제안 네트워크(RPN)를 회전 경계 박스를 예측하는 회전 영역 제안 네트워크(RRPN)로 대체하여 다섯 개의 파rameter $(x_c, y_c, w, h, \theta)$를 사용해 예측한다.
• RoI 풀링에서 발생하는 반올림 오차로 인한 경계 불일치 문제를 방지하기 위해 이중선형 보간을 사용하는 회전 RoI 어라이언트(RRoI-Align)를 사용한다.
• 모든 실용적인 텍스트 회전을 자연스럽게 커버하기 위해 대칭적인 방향 범위 $(-90^\circ, 90^\circ)$를 적용한다.
• 이미지 경계를 초과하는 회전 경계 박스를 처리하기 위해 RRoI-Align에서 온디맨드 패딩과 박스 변환 기법을 도입한다.
• 회전 경계 박스 연산을 위한 효율적인 CPU 기반 Caffe2 연산자와 함께 int8 정량화를 적용하여 추론 속도를 유지한다.
• 혼합된 비회전 및 회전 데이터를 사용한 하이브리드 학습 전략과 실시간 데이터 증강 기법을 통해 다양한 방향에서의 성능 균형을 확보한다.

실험 결과

연구 질문

• RQ1 회전 경계 박스를 예측하는 수정된 RPN이 임의의 방향으로 회전된 텍스트의 검출 정확도를 크게 향상시킬 수 있는가?
• RQ2 비대칭적인 $[-45^\circ, 135^\circ)$ 범위에 비해 대칭적인 $(-90^\circ, 90^\circ)$ 방향 범위는 모델의 안정성과 커버리지 측면에서 어떻게 비교되는가?
• RQ3 RRoI-Align과 RRoI-Pooling의 특징 정렬 및 회전 텍스트 검출 정확도에 미치는 영향은 어떠한가?
• RQ4 모델 정량화와 최적화된 연산자로 인해 RRPN의 성능 향상이 추론 지연 시간 증가 없이 달성될 수 있는가?
• RQ5 혼합 데이터셋으로 학습할 경우, 비회전 대비 회전 텍스트 검출 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• RRPN 모델은 회전 데이터셋에서 검출 정확도가 뚜렷이 향상되었으며, 최고의 모델이 기준 모델 대비 상당한 성능 향상을 보였다.
• 5:1 비율의 회전 증강 데이터셋으로 학습된 RRPN 모델(Ratio=5)은 비회전 텍스트에 비해 약간의 성능 저하가 있었지만, 회전 텍스트 검출에서는 기준 모델을 능가했다.
• RRPN 모델의 int8 정량화는 기준 비회전 모델과 비교해 추론 지연 시간에 눈에 띄는 증가가 없었다.
• RRoI-Align을 사용함으로써 RRoI-Pooling 대비 경계 불일치 문제를 줄여주어 회전 박스의 특징 추출 성능이 향상되었다.
• 대칭적인 $(-90^\circ, 90^\circ)$ 방향 범위는 인위적인 각도 매핑 없이 더 자연스럽고 일관된 회전 텍스트 검출을 가능하게 했다.
• 시스템은 매일 수십억 장의 이미지를 실시간으로 처리할 수 있는 수준의 처리 능력을 유지하여 확장성과 구현 가능성 확인함.