[논문 리뷰] Large-Scale Historical Watermark Recognition: dataset and a new consistency-based approach

Xi Shen, Ilaria Pastrolin외 5명|arXiv (Cornell University)|2019. 08. 27.

Handwritten Text Recognition Techniques참고 문헌 55인용 수 4

한 줄 요약

이 논문은 16,753개의 세분화된 클래스에 걸쳐 6,000개가 넘는 역사적 워터마크 사진으로 구성된 대규모 공개 데이터셋을 소개하며, 이는 대규모 일회성 및 크로스도메인 인식을 가능하게 한다. 일관성 기반의 딥러닝 방법을 제안하여 국소적 특징 매칭을 공간 일관성으로 걸러내어 정확도를 향상시키며, 브리케 레퍼런스에서 가져온 그림을 사용해 16,753개 클래스의 어려운 일회성 크로스도메인 인식 과제에서 55%의 top-1 정확도를 달성한다.

ABSTRACT

Historical watermark recognition is a highly practical, yet unsolved challenge for archivists and historians. With a large number of well-defined classes, cluttered and noisy samples, different types of representations, both subtle differences between classes and high intra-class variation, historical watermarks are also challenging for pattern recognition. In this paper, overcoming the difficulty of data collection, we present a large public dataset with more than 6k new photographs, allowing for the first time to tackle at scale the scenarios of practical interest for scholars: one-shot instance recognition and cross-domain one-shot instance recognition amongst more than 16k fine-grained classes. We demonstrate that this new dataset is large enough to train modern deep learning approaches, and show that standard methods can be improved considerably by using mid-level deep features. More precisely, we design both a matching score and a feature fine-tuning strategy based on filtering local matches using spatial consistency. This consistency-based approach provides important performance boost compared to strong baselines. Our model achieves 55% top-1 accuracy on our very challenging 16,753-class one-shot cross-domain recognition task, each class described by a single drawing from the classic Briquet catalog. In addition to watermark classification, we show our approach provides promising results on fine-grained sketch-based image retrieval.

연구 동기 및 목표

• 세분화된 역사적 워터마크 인식을 위한 대규모로 촬영되고 정제된 공개 데이터셋의 부족을 해결하기 위해.
• 역사적 문서 내 워터마크의 실용적인 대규모 일회성 및 크로스도메인 인식을 가능하게 하기 위해.
• 높은 내부 클래스 변동성, 미세한 외부 클래스 간 차이, 다양한 표현 방식(그림, 사진, 합성)으로 인한 도전 과제를 극복하기 위해.
• 국소적 특징 매칭에서 공간 일관성을 명시적으로 모델링하여 딥러닝 성능을 향상시키기 위해.
• 역사학자와 보존학자들에게 자동화된 워터마크 인식의 실현 가능성과 실용적 유용성을 입증하기 위해.

제안 방법

• 합성 신경망에서 추출한 중위수 특징을 사용하여 다양한 표현 방식 간의 세분화된 매칭을 가능하게 한다.
• 공간 일관성 기반 매칭 점수를 제안하여 특징 대응에서 기하학적 일관성을 확인함으로써 신뢰할 수 없는 국소적 매칭을 걸러낸다.
• 특징의 정교화 전략을 포함하여 학습 중 공간 일관성 있는 매칭을 활용해 특징의 분류 능력을 향상시킨다.
• 이 방법은 추론 및 학습 시간에 모두 적용되어, 혼잡함, 노이즈, 외관 변화에 대한 강건성을 향상시킨다.
• 일회성 인스턴스 인식과 크로스도메인 인식을 모두 지원하며, 각 클래스당 하나의 기준 그림만을 사용한다.
• 이 시스템은 공개적인 공증 기록부와 브리케 카탈로그에서 수집한 새로운 데이터셋을 활용하여 방법을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 대규모로 공개된 세분화된 역사적 워터마크 데이터셋은 효과적인 일회성 및 크로스도메인 인식을 가능하게 하는가?
• RQ2 국소적 특징 매칭에서 공간 일관성을 명시적으로 모델링하면, 전반적인 딥러닝 기반 모델 대비 성능 향상이 이루어지는가?
• RQ3 제안된 방법은 워터마크의 높은 내부 클래스 변동성과 미세한 외부 클래스 간 차이를 어떻게 다루는가?
• RQ4 공간 일관성에 의해 정교화된 중위수 딥러닝 특징은 이 세분화된 인식 과제에서 표준 CNN 기반 접근 방식을 얼마나 뛰어넘는가?
• RQ5 시스템의 주요 실패 유형은 무엇이며, 이는 이미지 품질과 워터마크의 가시성과 어떻게 관련이 있는가?

주요 결과

• 제안된 일관성 기반 방법은 16,753개 클래스의 일회성 크로스도메인 인식 과제에서 55%의 top-1 정확도를 달성하며, 강력한 전반적 딥러닝 기반 모델을 크게 앞서간다.
• 기준 모델이 여러 후보자에게 유사한 점수를 부여하는 경우에도, 이 방법은 정확한 워터마크를 높은 순위로 끌어올리는 데 뛰어난 성능을 보였다.
• 시각적 분석 결과, 제안된 매칭 점수가 유의미하게 매칭된 분류에 유의미한 기여를 하며, 관련 없거나 노이즈가 많은 영역은 억제하는 것으로 나타났다.
• 특징 정교화 과정을 통해 정확하고 분류에 유의미한 국소적 특징의 기여도가 증가함으로써, 정확한 매칭의 순위가 향상되었다.
• 실패 사례는 주로 강한 조명 효과, 얼룩, 찌그러짐, 또는 워터마크의 가시성 부족으로 인한 것으로 나타나, 표적적 데이터 증강을 통해 향상 가능할 것으로 보인다.
• 이 방법은 세분화된 스케치 기반 이미지 검색 과제도 유망한 결과를 내며, 워터마크 인식을 넘어서 보다 넓은 적용 가능성을 보여준다.