[논문 리뷰] Handwritten Chinese Character Recognition by Convolutional Neural Network and Similarity Ranking

Junyi Zou, Jinliang Zhang외 1명|arXiv (Cornell University)|2019. 08. 30.

Handwritten Text Recognition Techniques참고 문헌 6인용 수 10

한 줄 요약

이 논문은 CNN을 사용한 수기 중화자 recognition(HCCR)의 정확도를 향상시키기 위해 교차 엔트로피와 평균 분산 유사도 순서 매기기의 조합으로 새로운 손실 함수를 제안한다. 표준 SoftMax 교차 엔트로피 대신 상호 클래스 관계를 유지하는 하이브리드 손실을 사용함으로써, 기준 모델보다 높은 정확도를 달성하였으며, 평균 분산 유사도 순서 매기기 방식을 사용할 경우 최고의 성능을 보였다.

ABSTRACT

Convolution Neural Networks (CNN) have recently achieved state-of-the art performance on handwritten Chinese character recognition (HCCR). However, most of CNN models employ the SoftMax activation function and minimize cross entropy loss, which may cause loss of inter-class information. To cope with this problem, we propose to combine cross entropy with similarity ranking function and use it as loss function. The experiments results show that the combination loss functions produce higher accuracy in HCCR. This report briefly reviews cross entropy loss function, a typical similarity ranking function: Euclidean distance, and also propose a new similarity ranking function: Average variance similarity. Experiments are done to compare the performances of a CNN model with three different loss functions. In the end, SoftMax cross entropy with Average variance similarity produce the highest accuracy on handwritten Chinese characters recognition.

연구 동기 및 목표

• 수기 중화자 인식에서 SoftMax 교차 엔트로피 손실이 상호 클래스 관계를 포착하는 데에 한계가 있음을 해결하기 위해.
• 유사도 순서 매기기 함수를 교차 엔트로피 손실과 통합하여 CNN 내 특징의 분류 능력을 향상시키기 위해.
• Euclidean 거리와 제안된 평균 분산 유사도를 포함한 여러 손실 함수를 HCCR 맥락에서 평가하고 비교하기 위해.
• 교차 엔트로피 손실과 새로운 유사도 순서 매기기 함수를 조합함으로써 더 높은 인식 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 상호 클래스 정보를 유지하기 위해 표준 교차 엔트로피 손실과 유사도 순서 매기기 함수를 조합한 하이브리드 손실 함수를 제안한다.
• 특징의 밀도와 상호 클래스 간 분리도를 측정하기 위해 설계된 새로운 유사도 순서 매기기 함수인 평균 분산 유사도를 도입한다.
• 수기 중화자에서 특징을 추출하기 위해 CNN 아키텍처를 사용하고, 제안된 손실 함수를 사용하여 분류를 수행한다.
• 비교를 위해 기준으로 사용하는 유사도 순서 매기기 함수로 Euclidean 거리를 사용한다.
• 분류 정확도와 상호 클래스 마진을 동시에 최적화하기 위해 병합된 손실을 사용해 모델을 훈련시킨다.
• 주로 상위-1 정확도를 주요 지표로 사용하여 표준 HCCR 벤치마크에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 교차 엔트로피 손실과 유사도 순서 매기기 함수를 조합하면 수기 중화자 인식에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 제안된 평균 분산 유사도 함수는 Euclidean 거리 대비 특징 분류 능력을 향상시키는 데서 어떻게 비교되는가?
• RQ3 하이브리드 손실 함수는 HCCR에서 표준 SoftMax 교차 엔트로피보다 더 높은 인식 정확도를 제공하는가?
• RQ4 상호 클래스 정보 유지 기여도가 HCCR에서 모델 성능에 미치는 상대적 기여는 어떠한가?

주요 결과

• HCCR 벤치마크에서 교차 엔트로피와 평균 분산 유사도 순서 매기기 손실의 조합이 가장 높은 인식 정확도를 달성하였다.
• 하이브리드 손실 설정에서 제안된 평균 분산 유사도 함수가 Euclidean 거리보다 더 뛰어난 성능을 보였다.
• 하이브리드 손실 함수를 사용한 모델들은 단순히 SoftMax 교차 엔트로피만 사용한 모델들보다 향상된 상호 클래스 분리 능력을 보였다.
• 결과적으로, 유사도 순서 매기기를 통한 상호 클래스 관계 유지가 HCCR에서 모델의 일반화 능력을 향상시킨다는 것이 입증되었다.