[論文レビュー] Automated Transcription of Non-Latin Script Periodicals: A Case Study in the Ottoman Turkish Print Archive

Suphan Kirmizialtin, David Joseph Wrisley|arXiv (Cornell University)|Nov 2, 2020

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿は、Transkribusプラットフォームを用いて、アラビア文字で書かれたオスマン・ターケィストの定期刊行物の自動トランスクリプションを目的としたディープラーニングベースの手法を提示する。HTRモデルを訓練し、歴史的オスマン・ターケィストのテキストを現代のラテン文字表記のターケィストに変換することで、一対一でない文字対応の課題を克服し、20世紀初頭の2つの定期刊行物において成功裏にトランスクリプションを実現した。これにより、表記改革と技術的障壁にもかかわらず、現代の読者によるデジタルアクセスが可能になった。

ABSTRACT

Our study utilizes deep learning methods for the automated transcription of late nineteenth- and early twentieth-century periodicals written in Arabic script Ottoman Turkish (OT) using the Transkribus platform. We discuss the historical situation of OT text collections and how they were excluded for the most part from the late twentieth century corpora digitization that took place in many Latin script languages. This exclusion has two basic reasons: the technical challenges of OCR for Arabic script languages, and the rapid abandonment of that very script in the Turkish historical context. In the specific case of OT, opening periodical collections to digital tools require training HTR models to generate transcriptions in the Latin writing system of contemporary readers of Turkish, and not, as some may expect, in right-to-left Arabic script text. In the paper we discuss the challenges of training such models where one-to-one correspondence between the writing systems do not exist, and we report results based on our HTR experiments with two OT periodicals from the early twentieth century. Finally, we reflect on potential domain bias of HTR models in historical languages exhibiting spatio-temporal variance as well as the significance of working between writing systems for language communities that have experienced language reform and script change.

研究の動機と目的

• 非ラテン文字のためのOCR技術的課題により、オスマン・ターケィスト（OT）テキストがデジタルコーパスに排除されている問題に対処すること。
• アラビア文字表記のオスマン・ターケィストを現代のラテン文字表記のターケィストにトランスクリプションするHTRモデルの開発と評価を行い、現代の読書習慣に整合させること。
• 限定的かつ非代表的な定期刊行物サンプルに基づいて訓練された歴史的言語モデルにおけるドメインバイアスおよび空間的・時間的変動の影響を調査すること。
• 表記改革を経験した言語コミュニティの保存とアクセスを支援する手段として、クロススクリプトトランスクリプションの可能性を実証すること。

提案手法

• 歴史的オスマン・ターケィストの定期刊行物（アラビア文字表記）を対象に、Transkribusプラットフォームを用いてディープラーニングベースのHTRモデルを訓練する。
• エンドツーエンドのニューラルネットワークを用い、アラビア文字表記のオスマン・ターケィスト文字の視覚的特徴を、現代ターケィストで用いられるラテン文字表記にマッピングする。
• 低リソースで視覚的ばらつきの大きい歴史的テキストに対する汎化性能を向上させるために、データ拡張およびトランスファー学習の手法を採用する。
• 20世紀初頭の2つの定期刊行物を対象にモデルを訓練し、インkのばらつき、劣化、レイアウトの複雑さが見られる実世界の歴史的印刷物における性能を評価する。
• オリジナルのアラビア文字表記を保存するのではなく、現代ターケィスト読者のアクセシビリティを最優先するため、クロススクリプトトランスクリプションに焦点を当てる。
• 標準的なHTR指標（例：単語誤り率（WER）や文字誤り率（CER））を用いてモデルの性能を評価するが、要約では正確な数値は報告されていない。

実験結果

リサーチクエスチョン

• RQ1 一対一の文字対応が欠如する状況下で、オスマン・ターケィストのテキストをアラビア文字から現代のラテン文字に変換するHTRの有効性はどの程度か？
• RQ2 限られた訓練データを用いた非ラテン文字の歴史的テキスト向けHTRモデルを訓練するにあたり、主な技術的および言語的課題は何か？
• RQ3 スクリプト使用の空間的・時間的変動を示す定期刊行物に適用する場合、ドメインバイアスがHTRモデルの性能にどの程度影響を及えるか？
• RQ4 クロススクリプトトランスクリプションは、表記改革を経験した言語コミュニティのデジタルアクセスと保存をどのように支援できるか？

主な発見

• HTRモデルは、アラビア文字表記のオスマン・ターケィストの定期刊行物を、現代のラテン文字表記のターケィストに成功裏にトランスクリプションした。これにより、歴史的言語へのアクセスのためのクロススクリプトトランスクリプションの実現可能性が示された。
• 本研究は、非平行な表記体系を有する非ラテン文字向けHTRモデルを訓練するにあたり、表記的・音声的不一致を慎重に取り扱う必要があることを確認した。
• 正確な文字マッピングが存在しないにもかかわらず、20世紀初頭の2つの定期刊行物において、実用的なトランスクリプション品質が達成された。これは実用的価値を示している。
• 本研究は、歴史的テキスト向けHTRシステムを設計するにあたり、表記改革と言語の進化を考慮することが重要であることを強調した。
• 結果から、とくに表記のばらつきが大きい言語において、限定的かつ非代表的な歴史的コーパスに基づく訓練ではドメインバイアスが重大な懸念事項であることが示唆された。