[논문 리뷰] An open diachronic corpus of historical Spanish: annotation criteria and automatic modernisation of spelling

Felipe Sánchez-Martínez, Isabel Martinez-Sempere외 2명|arXiv (Cornell University)|2013. 06. 16.

Natural Language Processing Techniques참고 문헌 30인용 수 10

한 줄 요약

이 논문은 역사적 스페인어의 영향-에스(impact-es) 역동적 어휘자료를 제시한다. 이 자료는 1481~1748년 사이의 107개 텍스트(800만 단어 이상)로 구성된 오픈 액세스 어휘자료로, 어형, 품사, 현대 철자 등가가 주석 처리되어 있다. 이는 통계적 기계 번역 기법을 활용한 자동 철자 현대화 방법을 제안하며, 감독 학습 기반 현대화 대비 매우 낮은 문자 오류율을 달성하여 스페인어의 역사적 언어학 연구를 가능하게 한다.

ABSTRACT

The IMPACT-es diachronic corpus of historical Spanish compiles over one hundred books --containing approximately 8 million words-- in addition to a complementary lexicon which links more than 10 thousand lemmas with attestations of the different variants found in the documents. This textual corpus and the accompanying lexicon have been released under an open license (Creative Commons by-nc-sa) in order to permit their intensive exploitation in linguistic research. Approximately 7% of the words in the corpus (a selection aimed at enhancing the coverage of the most frequent word forms) have been annotated with their lemma, part of speech, and modern equivalent. This paper describes the annotation criteria followed and the standards, based on the Text Encoding Initiative recommendations, used to the represent the texts in digital form. As an illustration of the possible synergies between diachronic textual resources and linguistic research, we describe the application of statistical machine translation techniques to infer probabilistic context-sensitive rules for the automatic modernisation of spelling. The automatic modernisation with this type of statistical methods leads to very low character error rates when the output is compared with the supervised modern version of the text.

연구 동기 및 목표

• 언어학 연구를 위한 대규모 오픈 액세스 역사적 스페인어 어휘자료를 구축하기 위해.
• 초기 현대 스페인어 텍스트에서 어형, 품사, 현대 철자 등가에 대한 표준화된 주석 기준을 개발하기 위해.
• 통계적 기계 번역 기법을 활용해 자동 철자 현대화를 가능하게 하기 위해.
• FreeLing과 같은 오픈 소스 NLP 도구에 역사적 언어 자료를 통합할 수 있도록 지원하기 위해.
• 포괄적인 오픈 라이센싱 프레임워크를 통해 역사적 텍스트의 OCR 정확도 향상과 접근성 향상을 도모하기 위해.

제안 방법

• 어휘자료는 107개의 초기 인쇄 스페인어 텍스트(1481–1748)에서 수집되었으며, 기준 데이터셋과 미겔 데 세르반테스 가상 도서관(Biblioteca Virtual Miguel de Cervantes)에서 확보하였다.
• 상호운용성과 장기 보존을 확보하기 위해 텍스트 인코딩 이니셔티브(TEI) 표준을 사용하여 인코딩하였다.
• 약 7%의 단어가 어형, 품사, 현대 철자 등가로 수동 주석 처리되었다.
• 주석 데이터에서 문맥에 민감한 철자 현대화 규칙을 유추하기 위해 통계적 기계 번역 모델을 훈련시켰다.
• 모델의 성능 평가를 위해 출력 결과를 감독 학습 기반 현대화 기준과 비교하고 문자 오류율을 측정하였다.
• 형태소 및 어휘 분석을 향상시키기 위해 10,000개의 빈도 높은 어형과 어휘자료 내 해당 어형의 등장 빈도를 연결하는 보조 어휘자료가 제작되었다.

실험 결과

연구 질문

• RQ1 대규모 오픈 액세스 역사적 스페인어 어휘자료를 일관된 주석 기준으로 체계적으로 구축할 수 있는가?
• RQ2 통계적 기계 번역 기법이 초기 현대 스페인어에 대해 정확하고 문맥에 민감한 철자 현대화를 얼마나 잘 수행할 수 있는가?
• RQ3 골드 표준 감독 학습 기반 현대화 대비 자동 현대화의 문자 오류율은 얼마인가?
• RQ4 역사적 어휘자료를 오픈 소스 NLP 툴킷에 효과적으로 통합할 수 있는가?
• RQ5 표준화되고 오픈 액세스인 언어학 자료가 역사적 텍스트의 OCR 정확도 향상과 접근성 향상에 어떤 영향을 미치는가?

주요 결과

• impact-es 어휘자료는 107개의 역사적 스페인어 텍스트(1481–1748)로 구성되어 있으며, 약 800만 단어에 이르며, 7%의 단어가 어형, 품사, 현대 철자 등가로 주석 처리되어 있다.
• 어휘자료와 관련 어휘자료는 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 3.0 라이센스를 적용하여 공개되어 언어학 연구에서 넓은 재사용이 가능하다.
• 철자 현대화를 위한 통계적 기계 번역 기법은 감독 학습 기반 현대화 기준 대비 매우 낮은 문자 오류율을 달성하였다.
• 주석 처리된 데이터와 어휘자료는 FreeLing과 같은 오픈 소스 NLP 도구와 호환되어 후속 언어 처리 파이프라인에 쉽게 통합될 수 있다.
• 이 어휘자료는 역사적 스페인어에 대한 첫 번째 오픈 액세스 역동적 어휘자료로서, corde 및 Corpus del Español과 같은 제한된 웹 액세스 어휘자료에 비해 훨씬 높은 접근성을 제공한다.
• 프로젝트의 OCR 개선 조치, 즉 개선된 레이아웃 탐지 및 문자 인식 기술이 역사적 문서의 단어 복귀율을 최대 30% 향상시켰다.