[논문 리뷰] Writer Identification and Verification from Intra-variable Individual Handwriting.

Chandranath Adak, B.B. Chaudhuri외 1명|arXiv (Cornell University)|2017. 08. 10.

Handwritten Text Recognition Techniques인용 수 3

한 줄 요약

이 논문은 높은 내적 변동성(속도, 기분, 글쓰기 도구 등으로 인한) 상황에서 오프라인 벤골 수기에서의 글쓰는 사람 식별 및 확인을 조사하며, 수작업 특징과 컨볼루션 신경망에서 자동으로 유도된 특징을 조합한 하이브리드 접근법을 제안한다. 연구는 글쓰기 변동성에도 불구하고 암묵적인 개인적 특징이 유지됨을 보여주며, 100명의 글쓰는 사람을 포함한 데이터 증강된 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

The handwriting of an individual may vary substantially with factors such as mood, time, space, writing speed, writing medium and tool, writing topic, etc. It becomes challenging to perform automated writer verification/identification on a particular set of handwritten patterns (e.g., speedy handwriting) of a person, especially when the system is trained using a different set of writing patterns (e.g., normal speed) of that same person. However, it would be interesting to experimentally analyze if there exists any implicit characteristic of individuality which is insensitive to high intra-variable handwriting. In this paper, we study some handcrafted features and auto-derived features extracted from intra-variable writing. Here, we work on writer identification/verification from offline Bengali handwriting of high intra-variability. To this end, we use various models mainly based on handcrafted features with SVM (Support Vector Machine) and features auto-derived by the convolutional network. For experimentation, we have generated two handwritten databases from two different sets of 100 writers and enlarged the dataset by a data-augmentation technique. We have obtained some interesting results.

연구 동기 및 목표

• 속도, 기분, 글쓰기 도구 등으로 인한 높은 내적 변동성에도 불구하고 수기의 암묵적인 개인적 특징이 안정적으로 유지되는지 조사하는 것.
• 오프라인 벤골 수기에서의 글쓰는 사람 식별 및 확인에 대해 수작업 특징과 딥러닝에서 유도된 특징의 효과성을 평가하는 것.
• 한 가지 글쓰기 스타일(예: 정상 속도)에서 학습하고 다른 스타일(예: 빠른 글쓰기)에서 테스트하는 문제를 해결하기 위해 불변 특징을 식별하는 것.
• 손글씨 데이터베이스 각각 100명의 글쓰는 사람을 대상으로 데이터 증강을 통해 데이터 다양성을 향상시키고 모델의 일반화 능력을 향상시키는 것.

제안 방법

• 수작업 특징은 오프라인 벤골 수기 샘플에서 구조적이고 공간적인 특징를 추출하기 위해 사용되었다.
• 지원 벡터 머신(SVM) 분류기는 수작업 특징을 기반으로 글쓰는 사람 식별 및 확인 작업을 위해 훈련되었다.
• 컨볼루션 신경망(CNN)은 수기 이미지에서 분류에 유용한 특징를 자동으로 학습하기 위해 사용되었다.
• 데이터 증강 기법이 원본 손글씨 데이터베이스를 확장하기 위해 적용되어 모델의 강건성과 일반화 능력을 향상시켰다.
• 글쓰기 속도와 스타일의 변동성을 반영하기 위해 각각 100명의 글쓰는 사람을 포함하는 두 개의 별도한 데이터베이스를 구축하였다.
• 식별 및 확인 성능 평가에 표준 지표를 사용하여 수작업 특징와 자동 유도 특징 세트의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 속도, 기분, 도구 등으로 인한 상당한 내적 변동성에도 불구하고 수기의 암묵적인 개인적 특징이 안정적으로 유지될 수 있는가?
• RQ2 높은 내적 변동성 하에서 수작업 특징와 딥러닝에서 유도된 특징의 성능은 어떻게 비교되는가?
• RQ3 데이터 증강이 변동성이 큰 수기에서 글쓰는 사람 식별 및 확인 시스템의 강건성에 얼마나 기여하는가?
• RQ4 일부 글쓰기 스타일(예: 정상 속도)에서 학습한 시스템이 다른 스타일(예: 빠른 글쓰기)에서의 글쓰는 사람을 성공적으로 확인하거나 식별하는 것은 가능한가?
• RQ5 컨볼루션 신경망이 벤골 수기에서 내적 변동성에 대해 불변인 특징를 학습하는가?

주요 결과

• 연구는 높은 내적 변동성에도 불구하고 수기의 암묵적인 개인적 특징가 탐지 가능하다는 것을 발견하여, 글쓰기 변동성에도 불구하고 안정적인 생체정보 특징이 존재함을 시사한다.
• 수작업 특징와 SVM의 조합은 다양한 글쓰기 스타일에서 훈련 및 테스트할 경우 글쓰는 사람 식별 및 확인에서 뛰어난 성능을 보였다.
• 컨볼루션 네트워크에서 유도된 특징는 특히 글쓰기 속도와 압력의 변동성을 다룰 때 더 나은 일반화 능력을 보였다.
• 데이터 증강은 모델의 강건성을 크게 향상시켜 예측 불가능한 글쓰기 스타일에서도 더 나은 성능을 이끌어냈다.
• 수작업 특징와 딥러닝 특징의 조합은 개별 접근법을 초월하여 더 높은 성능을 보였으며, 글쓰는 사람 고유의 패tern을 포괄하는 데서 상호 보완적인 강점을 보였다.