[논문 리뷰] KuroNet: Pre-Modern Japanese Kuzushiji Character Recognition with Deep Learning

Tarin Clanuwat, Alex Lamb외 1명|arXiv (Cornell University)|2019. 10. 21.

Handwritten Text Recognition Techniques참고 문헌 17인용 수 8

한 줄 요약

KuroNet은 잔차 U-Net 아키텍처를 사용하여 전면 이미지에서 사전 처리 없이 전체 페이지의 문자 위치와 정체성을 동시에 예측하는 딥러닝 모델이다. 이는 사전 현대 일본어 독자들이 대부분 읽기 어려운 고대 일본어 귀두시지 문자를 종단간(end-to-end)으로 인식하는 데에 사용된다. 최신 기술 수준(SOTA)의 성능을 달성하였으며, 평가된 책 중 56%가 F1-스코어 80% 이상, 15%가 90% 이상을 기록하여 복잡한 레이아웃과 큰 어휘량을 가진 문서에서 이전 방법들보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Kuzushiji, a cursive writing style, had been used in Japan for over a thousand years starting from the 8th century. Over 3 millions books on a diverse array of topics, such as literature, science, mathematics and even cooking are preserved. However, following a change to the Japanese writing system in 1900, Kuzushiji has not been included in regular school curricula. Therefore, most Japanese natives nowadays cannot read books written or printed just 150 years ago. Museums and libraries have invested a great deal of effort into creating digital copies of these historical documents as a safeguard against fires, earthquakes and tsunamis. The result has been datasets with hundreds of millions of photographs of historical documents which can only be read by a small number of specially trained experts. Thus there has been a great deal of interest in using Machine Learning to automatically recognize these historical texts and transcribe them into modern Japanese characters. Nevertheless, several challenges in Kuzushiji recognition have made the performance of existing systems extremely poor. To tackle these challenges, we propose KuroNet, a new end-to-end model which jointly recognizes an entire page of text by using a residual U-Net architecture which predicts the location and identity of all characters given a page of text (without any pre-processing). This allows the model to handle long range context, large vocabularies, and non-standardized character layouts. We demonstrate that our system is able to successfully recognize a large fraction of pre-modern Japanese documents, but also explore areas where our system is limited and suggest directions for future work.

연구 동기 및 목표

• 고대 일본어 귀두시지 문자 인식의 과제를 해결하기 위해, 현대 일본어 독자들이 글자체의 노후화로 대부분 읽기 어려운 문자들을 인식하는 데 기여한다.
• 기존 시스템의 한계를 극복하기 위해, 큰 어휘량, 표준화되지 않은 레이아웃, 장거리 문맥적 의존성 등의 문제를 해결하고자 한다.
• 사전 처리나 순차적 문자 인식에 의존하지 않고 전체 페이지의 귀두시지 텍스트를 인식할 수 있는 강력한 종단간 모델을 개발하고자 한다.
• 자동으로 현대 일본어로 변환함으로써 역사적 일본 문서의 접근성을 향상시키고자 한다.
• 미래의 귀두시지 인식 연구를 위한 주요 실패 원인과 열린 과제를 규명하고자 한다.

제안 방법

• KuroNet은 전체 페이지 이미지에서 각 문자의 공간적 위치와 정체성을 동시에 예측하는 잔차 U-Net 아키텍처를 사용한다.
• 모델은 문자 검출과 분류를 동시에 최적화하는 다중 작업 손실을 사용하여 훈련되며, 지상 진실(ground-truth) 바운딩 박스와 레이블을 픽셀 수준에서 supervision으로 활용한다.
• 모든 공간적 위치 $ (i,j) $ 에서 $ p(y_{ij}|c_{ij},x) $ 의 확률 분포를 다항분포로 모델링하며, 여기서 $ y_{ij} $ 는 문자 레이블이고 $ c_{ij} $ 는 특징 표현이다.
• 스킵 연결과 잔차 블록을 사용하여 훈련 중 공간적 세부 정보를 유지하고 기울기 흐름을 향상시킨다.
• 모델은 종단간으로 전체 페이지 이미지에서 훈련되어 페이지 전반에 걸친 장거리 문맥적 관계를 포착할 수 있다.
• 일반화 및 강건성을 향상시키기 위해 훈련 중에 mixup을 통해 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 사전 처리나 순차적 모델링 없이도 고정밀도의 종단간 귀두시지 문자 인식을 달성할 수 있는가?
• RQ2 텍스트가 그림 주변으로 감싸져 있거나 글자 크기가 균일하지 않은 복잡한 레이아웃을 가진 페이지에서 모델의 성능은 어떠한가?
• RQ3 주요 실패 원인은 무엇인가, 특히 큰 문자나 시각적으로 유사한 한자에 대해 나타나는가?
• RQ4 1643년 이전의 문서, 즉 훈련 세트에서 가장 이른 레이블이 부여된 책 이전의 문서들에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 반감독 학습 기법을 활용하여 광범위한 비라벨 역사 문서를 효과적으로 활용할 수 있는가?

주요 결과

• 27권의 책에서 검증된 페이지에 대해, 56%의 책이 F1-스코어 80%에서 90% 사이를 기록하였고, 15%는 90%에서 100% 사이를 기록하였다.
• Isemonogatari Taisei(1697) 페이지에서 F1-스코어 0.8824를 기록하여 복잡한 그림이 포함된 레이아웃에서도 뛰어난 성능을 보였다.
• 표지 페이지의 매우 큰 문자들에 대해서는 성능이 떨어지며, 희귀성과 뚜렷한 시각적 특징으로 인해 자주 검출되거나 정확하게 분류되지 않는다.
• 절대 크기로는 작지만 본문과 시각적으로 유사한 표지 페이지의 애너테이션은 자주 본문 콘텐츠로 잘못 분류된다.
• 시각적으로 유사하지만 잘못된 한자 문자를 예측하는 경우가 있어, 미세한 차이를 구분하는 데 어려움이 있음을 보여준다.
• 1643년 이전의 문서에서는 성능이 열악하여, 이전 시대의 데이터가 일반화 능력을 향상시키는 데 필요할 수 있음을 시사한다.