[논문 리뷰] Writer Independent Offline Signature Recognition Using Ensemble Learning

Sourya Dipta Das, Himanshu Ladia외 2명|arXiv (Cornell University)|2019. 01. 19.

Handwritten Text Recognition Techniques참고 문헌 1인용 수 8

한 줄 요약

이 논문은 두 가지 전문화된 CNN(일반적 특징을 위한 Signet, 위조 감지 전용 Signet-f)과 Regularized Gradient Boosting Trees, 스태킹을 결합한 앙상블 딥러닝 프레임워크를 제안하여 기여자 독립적 오프라인 서명 검증 성능을 향상시킨다. 이 모델은 다양한 도메인의 데이터셋에서 최신 기술 수준의 성능을 달성하며, 반디히 데이터셋에서 94%의 정확도와 CEDAR에서 92%의 정확도를 기록하여 다양한 글자 종류와 위조 유형에 걸쳐 뛰어난 견고성을 입증한다.

ABSTRACT

The area of Handwritten Signature Verification has been broadly researched in the last decades, but remains an open research problem. In offline (static) signature verification, the dynamic information of the signature writing process is lost, and it is difficult to design good feature extractors that can distinguish genuine signatures and skilled forgeries. This verification task is even harder in writer independent scenarios which is undeniably fiscal for realistic cases. In this paper, we have proposed an Ensemble model for offline writer, independent signature verification task with Deep learning. We have used two CNNs for feature extraction, after that RGBT for classification & Stacking to generate final prediction vector. We have done extensive experiments on various datasets from various sources to maintain a variance in the dataset. We have achieved the state of the art performance on various datasets.

연구 동기 및 목표

• 기여자 독립적 오프라인 서명 검증의 과제를 해결하기 위해, 진짜 서명과 위조 서명이 높은 내부 클래스 변동성을 보이며, 각 사용자당 훈련 데이터가 제한적인 상황을 다루는 것.
• 새로운 사용자에게도 잘 일반화되며, 각 새로운 기여자마다 재학습이 필요하지 않은 일반적이고 확장 가능한 시스템을 설계하는 것.
• 이중 CNN 아키텍처를 통해 상보적인 특징을 학습시켜 숙련된 위조 서명과의 구별 능력을 향상시키는 것.
• 특화된 특징 추출기의 출력에 스태킹과 Regularized Gradient Boosting Trees를 적용하여 분류 성능을 향상시키는 것.
• 다양한 글자 종류(Hindi, Bengali, English)와 위조 유형을 가진 다양한 데이터셋에서 모델의 견고성을 검증하는 것.

제안 방법

• 두 개의 별도된 합성곱 신경망(CNN)을 훈련한다: Signet은 진짜 서명만으로 훈련되어 기여자에 의존하지 않는 특징을 학습하고, Signet-f는 진짜 및 위조 서명을 모두 포함하여 위조 특징을 학습한다.
• 두 CNN의 마지막 레이어에서 추출한 특징을 결합하여 각 서명에 대한 통합 특징 벡터를 형성한다.
• 정규화된 기울기 부스팅 트리(RGBT) 분류기가 통합 특징에 대해 훈련되며, 학습률 0.1, 최대 트리 깊이 3, 100개의 추정기로 과적합을 방지한다.
• 스태킹은 두 분류기(Signet 및 Signet-f)의 확률 출력을 수평으로 결합하여 (n,2) 행렬을 형성한 후 최종 예측을 수행하는 로지스틱 회귀 모델을 훈련하여 적용한다.
• 모델 평가 시 여러 벤치마크 데이터셋에서 67% 훈련/33% 테스트 분할을 사용하며, 정확도를 주요 평가 지표로 삼는다.
• 데이터 전처리는 이전 연구에서 확립된 방법을 따르며, 기존 서명 인식 파이프라인과의 일관성과 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 이중-CNN 앙상블 아키텍처가 단일 모델 또는 수작업 특징 기반 접근 방식보다 기여자 독립적 오프라인 서명 검증 성능을 향상시키는가?
• RQ2 한 CNN은 진짜 서명만으로, 다른 CNN은 진짜-위조 쌍으로 훈련하면 위조 감지에 더 구별 가능한 특징 학습이 가능한가?
• RQ3 특화된 분류기(Signet 및 Signet-f)의 예측을 스태킹함으로써 다양한 데이터셋에서 전체 검증 정확도가 얼마나 향상되는가?
• RQ4 제안된 앙상블 모델은 다양한 글자 종류(예: Hindi, Bengali, English)와 위조 유형을 가진 교차 도메인 데이터셋에서 어떻게 성능을 내는가?
• RQ5 실제 은행 및 인증 시스템에서 요구하는 바와 같이, 몇 개의 서명 샘플만으로도 새로운 사용자에게 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 모델은 반디히 데이터셋에서 94%의 정확도를 달성하여 이전 최신 기술 수준의 방법들인 SigNet(86.11%) 및 Dutta 등(84.90%)을 초월했다.
• 힌두 데이터셋에서는 86%의 정확도를 기록하여 Pal 등(75.53%), Dutta 등(85.90%), SigNet(84.64%)를 모두 앞섰다.
• CEDAR 데이터셋에서는 92%의 정확도를 기록했으며, 그래프 매칭 및 SigNet 접근 방식을 제외하고는 대부분의 이전 방법들을 능가했다.
• Signet 모델은 진짜 서명을 분류하는 데 더 효과적이었고, Signet-f 모델은 위조 서명 탐지에서 뛰어난 성능을 보여 이중 브랜치 아키텍처의 상보적 설계가 검증되었다.
• 스태킹 앙상블 전략은 두 특화된 분류기의 장점을 조합함으로써 전반적인 정확도를 크게 향상시켰으며, 서명 검증에서 메타학습의 효과성을 입증했다.
• 모델는 다양한 글자 종류와 위조 유형에 걸쳐 강력한 일반화 능력을 보이며, 실제 교차 도메인 환경에서의 배포에 있어 견고함을 나타냈다.