[論文レビュー] Deep Learning the Indus Script

Satish Palaniappan, R. Adhikari|arXiv (Cornell University)|Feb 2, 2017

Anomaly Detection Techniques and Applications参考文献 13被引用数 8

ひとこと要約

本論文は、考古学的封印画像からグラフィムを検出・分類するための画像処理および畳み込みニューラルネットワークを用いた、未解読のインダス文字の自動コーパス作成のためのディープラーニングパイプラインを提示する。『壺』印と呼ばれる最も頻出するインダス文字グラフィムの識別において92%の正確性を達成し、計算言語学的碑文研究におけるディープラーニングの実現可能性を示している。

ABSTRACT

Standardized corpora of undeciphered scripts, a necessary starting point for computational epigraphy, requires laborious human effort for their preparation from raw archaeological records. Automating this process through machine learning algorithms can be of significant aid to epigraphical research. Here, we take the first steps in this direction and present a deep learning pipeline that takes as input images of the undeciphered Indus script, as found in archaeological artifacts, and returns as output a string of graphemes, suitable for inclusion in a standard corpus. The image is first decomposed into regions using Selective Search and these regions are classified as containing textual and/or graphical information using a convolutional neural network. Regions classified as potentially containing text are hierarchically merged and trimmed to remove non-textual information. The remaining textual part of the image is segmented using standard image processing techniques to isolate individual graphemes. This set is finally passed to a second convolutional neural network to classify the graphemes, based on a standard corpus. The classifier can identify the presence or absence of the most frequent Indus grapheme, the "jar" sign, with an accuracy of 92%. Our results demonstrate the great potential of deep learning approaches in computational epigraphy and, more generally, in the digital humanities.

研究の動機と目的

• 未解読の文字体系の生きた考古学的画像から標準化されたコーパスを作成する作業を自動化すること。
• 碑文研究における標準化されたコーパスの不足が、形態句法的および意味的分析を妨げているという問題に対処すること。
• ノイズが多く、摩滅したインダス文字のインscriptionsからグラフィムを検出・分類できるスケーラブルなディープラーニングベースのシステムを開発すること。
• 古代文字における光学的文字認識にディープラーニングを用いることの実現可能性を示すこと、特にインダス文字に焦点を当てること。
• デジタル・ヒューマニティーズ分野における、実時間で動作するモバイルベースの古代文字認識システムの基盤を築くこと。

提案手法

• パイプラインは画像前処理から始まる：グレースケール変換、σ=3.0を用いたガウス平滑化、および背景の平均値を用いたしきい値処理により、雑多な背景から封印を分離する。
• マルチスケールのガウスぼかし処理の後、Cannyエッジ検出を適用して封印の境界輪郭を検出し、封印領域を抽出する。
• 選択的探索（Selective Search）を用いて、注目領域（ROI）の候補を提示し、グリッドサーチによりハイパーパramータを最適化して、テキストおよび図像的要素の検出を最適化する。
• 領域をテキスト、ノンテキスト、または両方の3つのカテゴリに分類するため、領域分類に畳み込みニューラルネットワーク（CNN）を用いる。
• テキスト領域は、モルフォロジカル操作を用いて階層的に統合・トリミングされ、非テキスト的コンテンツを除去する。
• クリーニングされたテキスト領域に対して、標準的な画像処理技術を用いてグラフィムのセグメンテーションを実施し、『壺』印の有無を識別するための第二のCNNで分類を実施する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングは、未解読の文字体系の生きた考古学的画像から標準化されたコーパスの作成を自動化できるか？
• RQ2 2段階のCNNパイプラインは、ノイズが多く摩滅したインダス文字のインscriptionsからグラフィムを検出・分類するのにどの程度効果的か？
• RQ3 領域提案および画像前処理技術は、複雑な考古学的画像におけるグラフィム検出の正確性をどの程度向上できるか？
• RQ4 『壺』印という1つの頻出グラフィムに特化して学習させたディープラーニングモデルは、インダス文字の全記号分類器へと拡張可能か？
• RQ5 パイプラインは、重度に損傷を受けた、または複雑に配置された封印に対してもどの程度頑健か？

主な発見

• 領域分類段階におけるテキスト／ノンテキスト分類器は、頑健に機能し、一部の領域が見逃された場合でもパイプラインの安定性に寄与している。
• テストセットにおいて、最も頻出するインダス文字グラフィム『壺』印の有無の分類において、92%の正確性を達成した。
• 重度に損傷を受けた封印や縁に位置する記号に対しても、パイプラインは大多数のケースで部分的なテキスト領域を回復できた。
• 選択的探索は、封印縁に近い記号を検出できないことがあり、複雑または摩滅したインscriptionsにおける領域提案の限界を示している。
• 今後の実時間モバイルアプリケーションにおいて、カメラで撮影した画像からインダス文字を「読み取る」ことの実現可能性を示している。
• モジュール型でエンドツーエンドのアーキテクチャであるため、十分な学習データが得られれば、他の未解読文字体系への応用が可能で、インダス文字にとどまらない一般化が可能である。