[논문 리뷰] Deep Learning the Indus Script

Satish Palaniappan, R. Adhikari|arXiv (Cornell University)|2017. 02. 02.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 8

한 줄 요약

이 논문은 이미지 처리 및 합성곱 신경망을 사용하여 고고학적 도장 이미지에서 그래프렘을 탐지하고 분류함으로써 해독되지 않은 인도 서사의 자동 코퍼스 편찬을 위한 딥러닝 파이프라인을 제시한다. 가장 빈도가 높은 인도 그래프렘인 '항아리' 기호를 92%의 정확도로 식별함으로써 딥러닝이 계산적 에피그래피 분야에서 가능하다는 것을 입증한다.

ABSTRACT

Standardized corpora of undeciphered scripts, a necessary starting point for computational epigraphy, requires laborious human effort for their preparation from raw archaeological records. Automating this process through machine learning algorithms can be of significant aid to epigraphical research. Here, we take the first steps in this direction and present a deep learning pipeline that takes as input images of the undeciphered Indus script, as found in archaeological artifacts, and returns as output a string of graphemes, suitable for inclusion in a standard corpus. The image is first decomposed into regions using Selective Search and these regions are classified as containing textual and/or graphical information using a convolutional neural network. Regions classified as potentially containing text are hierarchically merged and trimmed to remove non-textual information. The remaining textual part of the image is segmented using standard image processing techniques to isolate individual graphemes. This set is finally passed to a second convolutional neural network to classify the graphemes, based on a standard corpus. The classifier can identify the presence or absence of the most frequent Indus grapheme, the "jar" sign, with an accuracy of 92%. Our results demonstrate the great potential of deep learning approaches in computational epigraphy and, more generally, in the digital humanities.

연구 동기 및 목표

• 해독되지 않은 서사의 원시 고고학적 이미지에서 표준화된 코퍼스를 만드는 데 소요되는 노동 집약적인 과정을 자동화하기 위해.
• 에피그래피 연구에서 표준화된 코퍼스의 부족으로 인해 형태구문학적 및 의미 분석이 저해되고 있는 문제를 해결하기 위해.
• 노이즈가 많고 마모된 인도 서사 문장에서 그래프렘을 탐지하고 분류할 수 있는 확장 가능한 딥러닝 기반 시스템을 개발하기 위해.
• 딥러닝을 사용한 고대 서사의 광학 문자 인식의 가능성을 입증하기 위해, 특히 인도 서사에 초점을 맞추기 위해.
• 디지털 인문학 분야에서 고대 문장의 실시간 모바일 기반 인식 시스템을 위한 기반을 마련하기 위해.

제안 방법

• 파이프라인은 이미지 전처리로 시작한다: Grayscale 변환, σ=3.0를 사용한 가우시안 스무딩, 배경 평균을 기반으로 한 임계치 설정을 통해 잡음에서 도장 영역을 분리한다.
• 다중 척도 가우시안 블러링 후 Canny 에지 검출을 적용하여 도장의 경계 윤곽을 탐지하고 도장 영역을 추출한다.
• 선택적 검색(Selective Search)을 사용하여 관심 영역 후보를 제안하며, 텍스트 및 상징적 요소를 최적화하기 위해 그리드 서치를 통해 초모수를 조정한다.
• 영역을 텍스트, 비텍스트, 또는 둘 다로 분류하기 위해 합성곱 신경망(CNN)을 사용한 영역 분류를 수행한다.
• 텍스트 영역는 계층적으로 통합되고 형태학적 연산을 통해 비텍스트 콘텐츠를 제거하기 위해 정제된다.
• 청결화된 텍스트 영역에 표준 이미지 처리 기법을 적용하여 그래프렘 분할을 수행한 후, 두 번째 CNN을 사용해 '항아리' 기호의 존재 여부를 식별한다.

실험 결과

연구 질문

• RQ1 딥러닝은 해독되지 않은 서사의 원시 고고학적 이미지에서 표준화된 코퍼스를 자동으로 생성할 수 있는가?
• RQ2 두 단계로 구성된 CNN 파이프라인은 노이즈가 많고 마모된 인도 서사 문장에서 그래프렘을 탐지하고 분류하는 데 얼마나 효과적인가?
• RQ3 영역 제안 및 이미지 전처리 기법은 복잡한 고고학적 이미지에서 그래프렘 탐지 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 단일 빈도 기호인 '항아리' 기호에 대해 훈련된 딥러닝 모델은 인도 서사의 전체 기호 분류기로 확장될 수 있는가?
• RQ5 이 파이프라인은 심하게 손상되거나 복잡하게 배열된 도장에 대해 얼마나 강건한가?

주요 결과

• 영역 분류 단계에서의 텍스트/비텍스트 분류기가 강건하게 작동하여, 일부 영역이 빠지더라도 파이프라인의 안정성에 기여한다.
• 테스트 세트에서 가장 빈도가 높은 인도 그래프렘인 '항아리' 기호의 존재 여부를 92%의 정확도로 분류하는 데 성공했다.
• 심하게 손상된 도장이나 가장자리에 위치한 기호와 같은 도전 과제에도 불구하고, 대부분의 경우 부분적인 텍스트 영역을 성공적으로 복구했다.
• 선택적 검색은 도장 가장자리 근처의 기호를 탐지하지 못하는 경우가 있어, 복잡하거나 마모된 문장에 대한 영역 제안의 한계를 보여준다.
• 카메라로 촬영한 이미지에서 인도 서사를 '읽을' 수 있는 향후 실시간 모바일 애플리케이션을 위한 가능성을 입증했다.
• 모듈러하고 종단 간 아키텍처는 충분한 훈련 데이터가 확보된 경우 다른 해독되지 않은 서사로도 일반화 가능하며, 인도 서사 외부로의 적용 가능성을 보여준다.