[論文レビュー] Handwritten Amharic Character Recognition Using a Convolutional Neural Network

Mesay Samuel Gondere, Lars Schmidt-Thieme+2 more|Repository KITopen (Karlsruhe Institute of Technology)|Sep 23, 2019

Handwritten Text Recognition Techniques参考文献 15被引用数 8

ひとこと要約

本論文は、アムハラ文字の手書き文字認識のための最初の畳み込みニューラルネットワーク（CNN）ベースのアプローチを提示する。マルチタスク学習を活用し、アムハラ文字の文字ラベル、行位置、列位置を同時に予測することで、精度を向上させる。モデルは文字認識で54.92％のテスト精度を達成し、特に列予測の助けにより顕著な向上を示し、将来的には単語レベルの認識や他の文字体系へのスケーラビリティが可能になる。

ABSTRACT

Amharic is the official language of the Federal Democratic Republic of Ethiopia. There are lots of historic Amharic and Ethiopic handwritten documents addressing various relevant issues including governance, science, religious, social rules, cultures and art works which are very rich indigenous knowledge. The Amharic language has its own alphabet derived from Ge’ez which is currently the liturgical language in Ethiopia. Handwritten character recognition for non Latin scripts like Amharic is not addressed especially using the advantages of state-of-the-art techniques. This research work designs for the first time a model for Amharic handwritten character recognition using a convolutional neural network. The dataset was organized from collected sample handwritten documents and data augmentation was applied for machine learning.

研究の動機と目的

• 豊富ではあるが未だ十分に調査されていないアムハラ文字のためのディープラーニングベースの手書き文字認識システムの不足を解消すること。
• 265文字の大きな文字セット、視覚的類似性、限られたデータセットの影響により生じる認識の課題を克服すること。
• アムハラ文字のアルファベットにおける構造的関係（行と列）を活用したマルチタスク学習の利点を検討し、モデルの汎化性能を向上させること。
• 将来的な応用、例えばアムハラ語の単語予測やスケーラブルなマルチスクリプト認識を可能にすること。

提案手法

• 手作業による特徴抽出を一切行わず、生の画像ピクセルに直接学習する深層畳み込みニューラルネットワーク（CNN）を採用する。
• 手書きサンプルのばらつきを増やし、筆記様式の多様性に強い耐性を高めるために、データ拡張を適用する。
• マルチタスク学習を導入し、モデルにアムハラ文字の文字ラベル、行インデックス、列インデックスを同時に予測させる。
• 主タスク（文字分類）と補助タスク（行・列予測）の損失関数を、重み係数αを用いてバランスさせる。
• 最適な収束を得るために、手書き文書から収集したカスタムデータセットを用いてモデルを訓練・検証し、ハイパーパrameterを調整する。
• アムハラ文字のアルファベットにおける構造的レイアウト（同じ列に属する文字は基本形を共有する）を活用し、補助タスクによるインダクティブバイアスを導入する。

実験結果

リサーチクエスチョン

• RQ1 手作業による特徴抽出なしに、深層CNNがアムハラ手書き文字認識で競争的な性能を達成できるか？
• RQ2 行と列の位置を用いたマルチタスク学習は、アムハラ文字の認識精度をどのように向上させるか？
• RQ3 行予測と列予測のどちらが主タスク分類に寄与しているか、相対的な貢献度はいかほどか？
• RQ4 アムハラ文字の構造的関係を活用することで、モデルの汎化性能を向上させ、過学習を軽減できるか？
• RQ5 このアプローチは、アムハラ語の単語予測やマルチスクリプト認識への応用にどの程度拡張可能か？

主な発見

• マルチタスク学習を用いない場合、CNNモデルは文字認識で52.15％のテスト精度を示したが、トレーニング精度が87.48％に達するほど大きなギャップがあり、限定的な文字多様性のため過学習が顕著に見られた。
• マルチタスク学習によりモデルの汎化性能が顕著に向上し、全テストでα値を変更しても、トレーニング損失が6.10から0.58に、検証損失が5.74から1.83に低下した。
• 最良の性能を示した設定は、α₁=1、α₂=0.35、α₃=0.65（ラベル、行、列）の組み合わせであり、収束が速く、テスト精度も最高であった。
• モデルは文字ラベル予測でテストセットで54.92％の精度、行予測で68.09％、列予測で65.26％を達成し、補助タスクにおいても高い性能を示した。
• 列予測は行予測よりも早くかつより正確に学習された。これは、同じ列に属する文字同士が基本形を共有しており、構造的類似性が強いことによるものと推察される。
• 結果から、アムハラ文字の固有のレイアウトをマルチタスク学習で活用することで、認識性能の向上が図られ、将来的な単語レベルの予測やマルチスクリプトへのスケーラビリティへの道筋が開かれたことが示された。