[논문 리뷰] DocSegTr: An Instance-Level End-to-End Document Image Segmentation Transformer

Sanket Biswas, Ayan Banerjee외 2명|arXiv (Cornell University)|2022. 01. 27.

Handwritten Text Recognition Techniques인용 수 10

한 줄 요약

이 논문은 소수의 예시 이미지와 비지도 학습적 점진적 가짜 레이블링을 통해 최소한의 인간 레이블링으로도 자주 발생하지 않거나 알려지지 않은 문자 체계를 포함한 저자원 수기 문건에서 개체 수준의 인식을 가능하게 하는, 희소 샘플, 엔드 투 엔드 문서 이미지 세그멘테이션 트랜스포머인 DocSegTr를 제안한다. 각 기호 유형당 5장의 예시 이미지만을 사용하고 비지도 학습 기반의 점진적 가짜 레이블링을 적용함으로써, 완전히 지도 학습된 방법과 유사한 성능을 달성하면서도 수동 레이블링 노력은 크게 줄였다.

ABSTRACT

Understanding documents with rich layouts is an essential step towards information extraction. Business intelligence processes often require the extraction of useful semantic content from documents at a large scale for subsequent decision-making tasks. In this context, instance-level segmentation of different document objects (title, sections, figures etc.) has emerged as an interesting problem for the document analysis and understanding community. To advance the research in this direction, we present a transformer-based model called \emph{DocSegTr} for end-to-end instance segmentation of complex layouts in document images. The method adapts a twin attention module, for semantic reasoning, which helps to become highly computationally efficient compared with the state-of-the-art. To the best of our knowledge, this is the first work on transformer-based document segmentation. Extensive experimentation on competitive benchmarks like PubLayNet, PRIMA, Historical Japanese (HJ) and TableBank demonstrate that our model achieved comparable or better segmentation performance than the existing state-of-the-art approaches with the average precision of 89.4, 40.3, 83.4 and 93.3. This simple and flexible framework could serve as a promising baseline for instance-level recognition tasks in document images.

연구 동기 및 목표

• 레이블이 극도로 부족한 희귀하거나 알려지지 않은 문자 체계를 가진 수기 문건을 인식하는 데 도전하는 것.
• 수동 경계 상자 및 기호 레이블링을 대체하여 자동화된 가짜 레이블링 프로세스를 도입함으로써 인간의 레이블링 부담을 최소화하는 것.
• 재학습 없이도 다양한 문자 체계에 적용 가능한 일반적인 엔드 투 엔드 모델을 개발하는 것.
• 점진적 비지도 가짜 레이블링이 저자원 데이터셋에서 모델 성능 향상에 기여하는지 평가하는 것.
• 희소 샘플 학습과 자기지도 학습 기반 가짜 레이블링을 조합함으로써 최소한의 수동 데이터 정제로도 경쟁 가능한 성능을 달성할 수 있는지 보여주는 것.

제안 방법

• 모델는 각 기호 유형당 5장의 예시 이미지만을 지원 데이터로 사용하는 희소 샘플 학습 프레임워크를 사용한다.
• 트랜스포머 기반 아키텍처는 특징 공간 내에서 지원 특징과 쿼리 특징 간의 유사도를 계산하여 개체 수준의 검출을 수행한다.
• 주의 메커니즘을 통합한 영역 제안 네트워크(RPN)는 쿼리 이미지 전역에서 지원 특징에 주의를 기울여 후보 경계 상자를 생성한다.
• 가짜 레이블링은 점진적으로 수행된다: 높은 신뢰도 예측이 반복적으로 레이블된 집합에 추가되며, 신뢰도 필터링에 0.4의 임계값을 사용한다.
• 전체 텍스트 라인의 수동 레이블링을 피하기 위해 비지도, 세그멘테이션 불필요한 가짜 레이블링을 비레이블 데이터에 적용한다.
• 실제 레이블된 예시와 자동으로 생성된 가짜 레이블된 데이터를 모두 사용하여 모델를 엔드 투 엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 각 기호 유형당 5장의 예시 이미지만을 사용하는 희소 샘플 학습 접근법이 기호 인식 성능을 높일 수 있는가?
• RQ2 비지도 점진적 가짜 레이블링이 저자원 수기 문건 인식에서 수동 레이블링 필요성을 효과적으로 줄일 수 있는가?
• RQ3 극도로 저자원 환경에서 제안된 방법의 성능가 완전 지도 학습 및 자기지도 학습 기반 기준 모델과 비교해 볼 때 어떻게 되는가?
• RQ4 낮은 신뢰도를 가진 가짜 레이블 데이터를 포함시켜도 모델 성능에 유익한가, 아니면 성능 저하를 초래하는가?
• RQ5 제안된 방법이 재학습 없이도 다양한 문자 체계와 캐리커처, 접촉하는 텍스트 라인에 일반화 가능한가?

주요 결과

• 모델는 각 기호 유형당 5장의 예시 이미지와 비지도 가짜 레이블링을 사용하여 Borg 데이터셋에서 SER(기호 오류율) 0.24를 달성했으며, 완전 지도 학습의 성능에 근접했다.
• MAE 및 UP-DETR와 같은 데이터 소비가 큰 자기지도 학습 모델들조차도 50%의 레이블 데이터만으로도 SER가 0.6 이상을 기록함에도 불구하고, 본 방법은 저자원 환경에 적합함을 입증했다.
• Borg 데이터셋에서의 추론 실험 결과, 신뢰도 임계값 0.4로 가짜 레이블링을 수행할 경우 최적의 성능을 달성함을 확인했다.
• 초기 가짜 레이블링 반복 과정에서 성능 저하가 약간 발생했음에도 불구하고, 지속적인 개선이 이루어져 안정적이고 효과적인 학습이 가능함을 보여주어 노이즈가 많은 레이블에 대한 강건성을 입증했다.
• 원천 문자 체계가 대상과 다를 경우에도 강력한 성능 유지를 보이며, 다양한 문자 체계 간의 전이 능력을 입증했다.
• 이 방법은 쿠네이폼 및 암호화된 문건의 인식을 최소한의 인간 간섭으로 가능하게 하여 레이블링 시간과 노력을 크게 줄였다.