[論文レビュー] DeepScribe: Localization and Classification of Elamite Cuneiform Signs Via Deep Learning

Edward Williams, Grace Su+4 more|arXiv (Cornell University)|Jun 2, 2023

Image Processing and 3D Reconstruction被引用数 5

ひとこと要約

DeepScribe は、ペルセポリス防衛図書館のアーカイブから得た大規模でアノテート済みのデータセットを用いて、古代の粘土板上のエラミット・クヌイフォーム記号の局所化と分類を実行するディーブラーニングパイプラインを提案する。局所化のmAPは0.78、分類のトップ5精度は0.89を達成し、クヌイフォーム研究者に対して記号検出の自動化と表記の提案を可能にする。

ABSTRACT

Twenty-five hundred years ago, the paperwork of the Achaemenid Empire was recorded on clay tablets. In 1933, archaeologists from the University of Chicago's Oriental Institute (OI) found tens of thousands of these tablets and fragments during the excavation of Persepolis. Many of these tablets have been painstakingly photographed and annotated by expert cuneiformists, and now provide a rich dataset consisting of over 5,000 annotated tablet images and 100,000 cuneiform sign bounding boxes. We leverage this dataset to develop DeepScribe, a modular computer vision pipeline capable of localizing cuneiform signs and providing suggestions for the identity of each sign. We investigate the difficulty of learning subtasks relevant to cuneiform tablet transcription on ground-truth data, finding that a RetinaNet object detector can achieve a localization mAP of 0.78 and a ResNet classifier can achieve a top-5 sign classification accuracy of 0.89. The end-to-end pipeline achieves a top-5 classification accuracy of 0.80. As part of the classification module, DeepScribe groups cuneiform signs into morphological clusters. We consider how this automatic clustering approach differs from the organization of standard, printed sign lists and what we may learn from it. These components, trained individually, are sufficient to produce a system that can analyze photos of cuneiform tablets from the Achaemenid period and provide useful transliteration suggestions to researchers. We evaluate the model's end-to-end performance on locating and classifying signs, providing a roadmap to a linguistically-aware transliteration system, then consider the model's potential utility when applied to other periods of cuneiform writing.

研究の動機と目的

• 現在、1つのテキストあたり数日を要する専門家によるクヌイフォーム研究者の手作業によるアノテートと表記のボトルネックを解消すること。
• 手作業によるクヌイフォーム研究の負荷を軽減するため、記号の局所化と分類を自動化するコンピュータビジョンパイプラインの開発。
• ペルセポリス防衛図書館から得た、5,000枚のアノテート済みの粘土板画像と100,000個のクヌイフォーム記号のバウンディングボックスを含む大規模で洗練されたデータセットを活用すること。
• オブジェクト検出と記号分類モデルを統合することで、研究者が機械生成の表記候補を入手できるようにすること。
• エラミット記号に限定されない、他のクヌイフォーム文書集（例：ウル・3・シュメール語）へのモデルの転送可能性を検討すること。

提案手法

• 100,000個のアノテート済みバウンディングボックスを用いて学習したRetinaNetを、粘土板画像内のクヌイフォーム記号の局所化に用いるオブジェクト検出器として採用する。
• 記号の識別を予測するため、ResNetベースの分類器（ResNet18 および ResNet50）を用い、主評価指標としてトップ5精度を採用する。
• モジュール式のパイプラインを実装：まず記号の位置を検出し、次に訓練済み分類器を用いて各検出された記号を分類する。
• 形態的クラスタリングを適用して、クヌイフォーム記号を自動的にグループ化し、従来の印刷済み記号リストと比較する。
• 予測されたホットスポット位置とトップ1の記号ラベルを用いて、Sequential RANSACを用いてテキストラインを再構築し、文字誤り率（CER）を評価する。
• モデルをエンドツーエンドで訓練し、記号の局所化、分類、およびシーケンス再構築のパフォーマンスを評価する。

Figure 1. PFA Tablet Image with Annotated Hotspots viewed in OCHRE

実験結果

リサーチクエスチョン

• RQ1 静的で単一の照明条件下の写真を用いても、複雑で破損した三次元の粘土板上で、ディーブラーニングモデルがクヌイフォーム記号を高精度に局所化できるか？
• RQ2 ビジョンオンリーのアプローチはどの程度の精度で記号分類を達成できるのか。また、完全なテキスト再構築においてトップ1精度の限界は何か？
• RQ3 クヌイフォーム記号の自動学習による形態的クラスタリング結果は、クヌイフォーム研究で従来用いられている印刷済みの記号リストと比べてどうか？
• RQ4 エラミット・クヌイフォーム記号で訓練された検出器は、ウル・3・シュメール語の粘土板など、他のクヌイフォーム文書集へも転送可能か？
• RQ5 言語的監視は、記号予測精度の向上とエンドツーエンドのテキスト再構築を可能にする上で、どのような役割を果たすのか？

主な発見

• RetinaNetオブジェクト検出器は、複雑で破損した粘土板画像において、記号局所化の平均平均精度（mAP）が0.78を達成し、優れた性能を示している。
• ResNet分類器は、希少または曖昧な記号に対しても、トップ5の記号分類精度が0.89に達しており、高品質な予測を実現している。
• エンドツーエンドのパイプラインはトップ5分類精度0.80を達成しており、モジュール式のアプローチが記号の提案に有効であることを示している。
• 再構築されたテキストシーケンスの文字誤り率（CER）は0.683であり、現在のパイプラインでは言語的補正なしでは完全なテキストの再構築が信頼できないことを示している。
• トップ1分類精度はわずか0.563にとどまっていることから、記号予測の誤りを低減するには言語的文脈が必要であることが明らかになった。
• 予備的な実験では、検出器がウル・3・シュメール語の粘土板上でも記号を局所化できることが示され、スクリプトやスタイルの違いがあるにかかわらず、クヌイフォーム時代間での転送可能性が示唆された。

Figure 2. Histogram of Sign Frequencies