[논문 리뷰] Cross-Domain Document Object Detection: Benchmark Suite and Method

Kai Li, Curtis Wigington외 7명|arXiv (Cornell University)|2020. 03. 30.

Handwritten Text Recognition Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 레이블이 있는 소스 도메인 데이터로 훈련하고 레이블이 없는 타겟 도메인 데이터를 사용할 때 발생하는 도메인 이동 문제를 해결하기 위해 벤치마크 세트와 새로운 교차 도메인 문서 객체 검출(DOD) 방법을 제안한다. 이 방법은 검출 성능을 향상시키기 위해 세 가지 새로운 정렬 모듈—특징 피라미드 정렬(FPA), 영역 정렬(RA), 렌더링 레이어 정렬(RLA)—을 활용하며, 문서 및 자연 풍경 이미지 교차 도메인 검출 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Decomposing images of document pages into high-level semantic regions (e.g., figures, tables, paragraphs), document object detection (DOD) is fundamental for downstream tasks like intelligent document editing and understanding. DOD remains a challenging problem as document objects vary significantly in layout, size, aspect ratio, texture, etc. An additional challenge arises in practice because large labeled training datasets are only available for domains that differ from the target domain. We investigate cross-domain DOD, where the goal is to learn a detector for the target domain using labeled data from the source domain and only unlabeled data from the target domain. Documents from the two domains may vary significantly in layout, language, and genre. We establish a benchmark suite consisting of different types of PDF document datasets that can be utilized for cross-domain DOD model training and evaluation. For each dataset, we provide the page images, bounding box annotations, PDF files, and the rendering layers extracted from the PDF files. Moreover, we propose a novel cross-domain DOD model which builds upon the standard detection model and addresses domain shifts by incorporating three novel alignment modules: Feature Pyramid Alignment (FPA) module, Region Alignment (RA) module and Rendering Layer alignment (RLA) module. Extensive experiments on the benchmark suite substantiate the efficacy of the three proposed modules and the proposed method significantly outperforms the baseline methods. The project page is at \url{https://github.com/kailigo/cddod}.

연구 동기 및 목표

• 레이아웃, 언어, 문서 유형이 다른 타겟 도메인으로 레이블이 있는 소스 도메인 데이터를 적응시키는 데 있어 도메인 이동 문제를 해결한다.
• 다양한 문서 도메인을 위한 대규모 레이블이 있는 데이터셋의 부족을 보완하기 위해 레이블이 없는 타겟 데이터만을 사용하여 교차 도메인 학습을 가능하게 한다.
• 교차 도메인 DOD 모델의 훈련과 평가를 표준화하기 위해 종합적인 벤치마크 세트를 구축한다.
• 특징, 영역, 렌더링 레이어 수준에서 도메인 간 정렬을 효과적으로 수행하여 일반화 능력과 성능을 향상시키는 검출 모델을 개발한다.
• 문서 형식과 내용이 크게 달라지는 실세계 응용 프로그램에서 강력한 문서 구조 이해를 가능하게 한다.

제안 방법

• 도메인 이동을 완화하기 위해 세 가지 새로운 도메인 정렬 모듈을 통합한, 특징 피라미드 네트워크(FPN) 기반의 교차 도메인 DOD 모델을 제안한다.
• 다양한 해상도의 특징 피라미드 간에 풀 픽셀 수준의 정렬을 수행하기 위해 특징 피라미드 정렬(FPA) 모듈을 도입하여 저수준 및 고수준 의미 정보를 정렬한다.
• 의미적으로 유의미한 프론트엔드 영역에 집중하기 위해 영역 정렬(RA) 모듈을 활용하며, 포인트 손실을 사용해 정렬이 어려운 샘플을 강조하여 영역 수준의 정렬을 향상시킨다.
• PDF 렌더링 레이어 마스크(텍스트, 벡터, 래스터)를 세그멘테이션 지도로 사용하여 문서 구성 요소의 구조적 정렬을 가능하게 하는 렌더링 레이어 정렬(RLA) 모듈을 개발한다.
• 원시 PDF와 렌더링 레이어를 포함한 보조 데이터를 벤치마크 세트에서 활용하여 시각적 표현을 풍부화하고 정렬 정밀도를 향상시킨다.
• 타겟 도메인 레이블이 필요 없이 검출 및 보조 세그멘테이션 목표를 동시에 최적화하여 엔드 투 엔드로 모델을 훈련함으로써 다중 수준의 도메인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 문서 유형, 레이아웃, 언어 간에 교차 도메인 문서 객체 검출을 표준화하기 위해 벤치마크 세트를 구축할 수 있는가?
• RQ2 레이블이 없는 타겟 데이터와 레이블이 있는 소스 데이터만을 사용할 때, 소스 도메인과 타겟 도메인 간의 도메인 이동을 어느 정도 완화할 수 있는가?
• RQ3 제안된 정렬 모듈인 FPA, RA, RLA는 다양한 문서 도메인 간 검출 성능 향상에 얼마나 효과적인가?
• RQ4 제안된 방법은 도메인 이동이 여전히 도전 과제인 자연 풍경 이미지의 교차 도메인 객체 검출에도 일반화되는가?
• RQ5 기존 최신 기술 수준의 방법들인 SWDA와 비교해 볼 때, 제안된 모듈의 성능은 어떻게 되는가?

주요 결과

• 제안된 방법은 모든 교차 도메인 DOD 벤치마크에서 기준 모델(Faster R-CNN 및 SWDA)을 크게 능가하며, PubMed-to-Chn 및 PubMed-to-Legal 적응 작업에서 평균 정밀도(mAP)가 최대 10.8% 향상되었다.
• 렌더링 레이어 정렬(RLA) 모듈의 포함으로 가장 큰 성능 향상이 이루어졌으며, PDF 렌더링 레이어에서 유래한 문서의 구조적 정보의 가치를 입증했다.
• Kitti → Cityscape 자연 이미지 교차 도메인 검출 작업에서 73.3 mAP를 기록하여 SWDA를 2.7% 초월함으로써, 이 정렬 모듈이 문서 전용 작업을 넘어서 일반화됨을 확인했다.
• 성능 향상에도 불구하고, 타겟 도메인에서 완전한 지도 학습을 한 오라클 설정보다 성능이 낮아, DOD에서 도메인 이동이 여전히 중요한 과제임을 확인했다.
• 복잡한 레이아웃에서도 강력한 국소화 및 분류 성능를 보였으며, 큰 표나 작은 페이지 번호와 같은 극단적인 종횡비를 가진 객체를 성공적으로 검출했다.
• 복합적인 구조(예: 다중 하위도 구성도) 검출에서는 맥락 인식이 부족해 개별 구성 요소가 별도로 검출되는 한계가 관찰되었다.