[論文レビュー] Restoring ancient text using deep learning: a case study on Greek epigraphy

Yannis Assael, Thea Sommerschield+1 more|arXiv (Cornell University)|Oct 14, 2019

Natural Language Processing Techniques参考文献 38被引用数 4

ひとこと要約

本稿では、文脈的理解と段階的改善を活用して損傷を受けた古代ギリシャ語の碑文を修復する深層学習モデル、Pythiaを提案する。Top-20予測において最先端の結果を達成し、欠落したテキストの修復において人間の専門家を上回る優れた性能を示し、機械学習と碑文学研究を組み合わせる可能性を浮き彫りにしている。

ABSTRACT

Ancient history relies on disciplines such as epigraphy, the study of ancient inscribed texts, for evidence of the recorded past. However, these texts, "inscriptions", are often damaged over the centuries, and illegible parts of the text must be restored by specialists, known as epigraphists. This work presents Pythia, the first ancient text restoration model that recovers missing characters from a damaged text input using deep neural networks. Its architecture is carefully designed to handle long-term context information, and deal efficiently with missing or corrupted character and word representations. To train it, we wrote a non-trivial pipeline to convert PHI, the largest digital corpus of ancient Greek inscriptions, to machine actionable text, which we call PHI-ML. On PHI-ML, Pythia's predictions achieve a 30.1% character error rate, compared to the 57.3% of human epigraphists. Moreover, in 73.5% of cases the ground-truth sequence was among the Top-20 hypotheses of Pythia, which effectively demonstrates the impact of this assistive method on the field of digital epigraphy, and sets the state-of-the-art in ancient text restoration.

研究の動機と目的

• 損傷を受けた古代ギリシャ語の碑文中の欠落したテキストを復元できる深層学習モデルの開発を目的とする。
• モデルの性能を専門家による碑文学的評価および基準データセット（Rhodes2003Greek）と比較することを目的とする。
• 文脈モデリングが碑文学におけるテキスト修復の正確性をどのように向上させるかを検討することを目的とする。
• モデルが古典学者およびデジタル・ヒューマニティストとの共同作業のためのツールとしての可能性を示すこと。

提案手法

• モデルは、碑文中の欠落文字を予測するために反復的かつ自己回帰的な生成プロセスを用いる。
• 事前学習済みのトランスフォーマー基盤アーキテクチャからの文脈埋め込みを活用し、言語的および古筆様式のパターンをモデル化する。
• 正解の評価のため、予測結果を基準版（Rhodes2003Greek）と照合する。
• 視覚的フィードバックは色分けで提供される：正しい予測は青、誤りは赤。
• モデルは、IG II 2 $116$ 碑文を含む実世界の碑文コロケーションを用いて訓練および評価される。
• オープンソースのパイプライン（Pythia-ML）により再現可能性が確保され、デジタル・ヒューマニティーズのワークフローへの統合が可能となる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、人間の専門家よりも、古代ギリシャ語の碑文中の欠落テキストをより正確に修復できるか？
• RQ2 文脈モデリングは、碑文学におけるテキスト修復の質をどのように向上させるか？
• RQ3 ニューラルモデルは、高い不確実性を伴う実世界の損傷碑文にどの程度一般化できるか？
• RQ4 モデルの性能は、基準版および人間がアノテートした真値と比較してどうなるか？
• RQ5 AIは、碑文学的学術研究および文化的遺産の保存にどのような役割を果たせるか？

主な発見

• Pythiaは、修復タスクにおいてTop-20性能を達成し、真値のシーケンスがTop-20予測内に存在していた。
• 多数のケースで正確な修復を生成し、視覚的結果では正しい予測を青、誤りを赤で強調している。
• モデルは強力な文脈理解を示し、妥当で言語的に整合性のある修復を生成した。
• 複数の碑文において、一貫性と速度の面で人間の専門家を上回った。
• Pythiaのデジタルパイプラインへの統合により、スケーラブルで再現可能かつ共同作業可能な碑文学的研究が可能になった。
• 結果は、機械学習と古典学の融合が、古代テキスト文化の研究を進める可能性を示している。