[논문 리뷰] SigNet: Convolutional Siamese Network for Writer Independent Offline Signature Verification

Sounak Dey, Anjan Dutta외 4명|arXiv (Cornell University)|2017. 07. 07.

Handwritten Text Recognition Techniques참고 문헌 4인용 수 178

한 줄 요약

SigNet은 오프라인 서명 검증을 위한 작가 독립 임베딩을 학습하기 위해 합성곱 시암즈 네트워크를 훈련시켜 여러 벤치마크 데이터세트에서 최첨단 성능을 달성합니다.

ABSTRACT

Offline signature verification is one of the most challenging tasks in biometrics and document forensics. Unlike other verification problems, it needs to model minute but critical details between genuine and forged signatures, because a skilled falsification might often resembles the real signature with small deformation. This verification task is even harder in writer independent scenarios which is undeniably fiscal for realistic cases. In this paper, we model an offline writer independent signature verification task with a convolutional Siamese network. Siamese networks are twin networks with shared weights, which can be trained to learn a feature space where similar observations are placed in proximity. This is achieved by exposing the network to a pair of similar and dissimilar observations and minimizing the Euclidean distance between similar pairs while simultaneously maximizing it between dissimilar pairs. Experiments conducted on cross-domain datasets emphasize the capability of our network to model forgery in different languages (scripts) and handwriting styles. Moreover, our designed Siamese network, named SigNet, exceeds the state-of-the-art results on most of the benchmark signature datasets, which paves the way for further research in this direction.

연구 동기 및 목표

• 작가 독립적인 시나리오에서 견고한 오프라인 서명 검증을 추진한다.
• 식별 가능한 서명 임베딩을 학습하기 위한 시암 CNN 아키텍처를 제안한다.
• 대조 손실(contrastive loss)을 사용하여 진짜 쌍은 묶고 위조 쌍은 거리 차이를 벌린다.
• 다양한 공개 데이터셋에서 평가하여 도메인 간 일반화와 데이터셋별 강점을 보여준다.

제안 방법

• 서명 이미지를 155x220으로 크기 조정하고, 반전시키고, 정규화하여 전처리한다.
• 공유 가중치를 가진 트윈 CNN(SigNet)을 사용하여 서명을 128차원 공간에 임베딩한다.
• 유사한 쌍의 거리를 최소화하고 이질적 쌍의 마진을 최대화하도록 대조 손실로 학습한다.
• Krizhevsky 등과 영감을 받은 아키텍처를 채택하여 11x11, 5x5, 3x3 커널과 드롭아웃을 사용한다.
• 유사한 쌍(genuine,genuine)과 이질적 쌍(genuine, forgery)의 수를 동일하게 맞춰 학습 데이터를 균형 있게 한다.
• 거리 임계치를 사용하여 유사한 쌍과 이질적 쌍을 구분하고 임계값들 중 최대 정확도를 보고한다.

실험 결과

연구 질문

• RQ1 다양한 서체와 서명가에 걸쳐 작가 독립적인 시암 CNN이 견고한 서명 임베딩을 학습할 수 있는가?
• RQ2 SigNet은 표준 오프라인 서명 데이터셋에서 최첨단 방법들보다 성능을 향상시키는가?
• RQ3 크로스 데이터셋 및 크로스 스크립트 시나리오에서 모델의 일반화 성능은 어느 정도인가?

주요 결과

• SigNet은 CEDAR, GPDS Synthetic, Bengali 데이터셋을 포함한 여러 벤치마크에서 최첨단 정확도를 달성한다.
• GPDS-300에서 SigNet의 성능은 일부 방법에 비해 하락하며, 데이터셋 특유의 스타일 다양성이 학습에 영향을 미친다는 것을 시사한다.
• 크로스 데이터셋 실험은 모델이 동일한 데이터셋에서 학습될 때 가장 높은 정확도를 보이는 반면, 사전 학습된 모델은 제한된 데이터에 대해 강력한 시작점을 제공한다.
• 보고된 결과에 따르면 SigNet은 GPDS Synthetic, Bengali, CEDAR 데이터셋에서 기존 방법들을 능가한다.
• 미숙한 위조 학습은 진짜-위조 학습에 비해 성능을 감소시키므로 미세한 위조를 포착하기 위한 숙련된 위조 예시의 필요성을 강조한다.