[論文レビュー] Zero-Shot Chinese Character Recognition with Stroke-Level Decomposition

Jingye Chen, Bin Li+1 more|arXiv (Cornell University)|Jun 22, 2021

Handwritten Text Recognition Techniques参考文献 16被引用数 6

ひとこと要約

本稿では、ゼロショット中国語漢字認識のためのスティルレベル分解手法を提案する。各漢字を5つの基本的な筆記の組み合わせとして扱い、文字および部首のゼロショット問題を克服する。シアンペアネットワークを用いたマッチング戦略により、手書き・印刷・シーン文字のすべてで最先端の性能を達成し、最小限の適応で韓国語文字に対しても効果的に一般化できる。

ABSTRACT

Chinese character recognition has attracted much research interest due to its wide applications. Although it has been studied for many years, some issues in this field have not been completely resolved yet, e.g. the zero-shot problem. Previous character-based and radical-based methods have not fundamentally addressed the zero-shot problem since some characters or radicals in test sets may not appear in training sets under a data-hungry condition. Inspired by the fact that humans can generalize to know how to write characters unseen before if they have learned stroke orders of some characters, we propose a stroke-based method by decomposing each character into a sequence of strokes, which are the most basic units of Chinese characters. However, we observe that there is a one-to-many relationship between stroke sequences and Chinese characters. To tackle this challenge, we employ a matching-based strategy to transform the predicted stroke sequence to a specific character. We evaluate the proposed method on handwritten characters, printed artistic characters, and scene characters. The experimental results validate that the proposed method outperforms existing methods on both character zero-shot and radical zero-shot tasks. Moreover, the proposed method can be easily generalized to other languages whose characters can be decomposed into strokes.

研究の動機と目的

• 従来のデータ集約型モデルでは、テストデータに含まれる未学習の文字や部首を認識できないという、中国語漢字認識における継続的な文字・部首ゼロショット問題に対処する。
• 訓練データに存在しない新しい文字や部首に直面した際に失敗する、文字ベースおよび部首ベースの手法の限界を克服する。
• より基本的でゼロショット失敗に弱くない基本的なスティルの系列として文字をモデル化することで、人間のような一般化能力を活用する。
• 1対多のスティル系列と文字のマッピングを解消するマッチング戦略を開発し、未学習文字の正確な認識を可能にする。
• 同じスティル構造を持つ東アジアの表意文字に適用可能な、言語間一般化を実証する。

提案手法

• Unicode漢字データベースに基づき、各中国語漢字を水平、垂直、左斜め、右斜め、回転の5つの基本的スティルタイプの系列に分解する。
• ResNetおよびTransformerコンponentsを備えたエンコーダ・デコーダアーキテクチャを用いて、入力画像からスティル系列を予測する深層学習モデルを訓練する。
• 複数の文字が同じスティル系列を持つという1対多の問題を、予測されたスティル系列と候補文字の埋め込みを比較するシアンペアネットワークベースのマッチング戦略により解決する。
• 2段階のデコードプロセスを採用：まずスティル系列を予測し、次に学習済みの埋め込みを用いて最も類似した既知の文字にマッチングする。
• すべての可能な文字の埋め込みを事前に保存する必要がなくなるため、候補文字およびサポートサンプルの埋め込みのみを保存することで、メモリコストを削減する。
• 同じ5つのスティルタイプに分解可能で、書く順序も一貫していることから、韓国語文字に対しても同様のスティルベースのフレームワークを適用することで言語間転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スティルレベルの分解アプローチは、中国語漢字認識における文字ゼロショット問題を根本的に解決できるか？
• RQ2 提案手法は、既存の部首ベース手法に深刻な問題をもたらす部首ゼロショット問題に対しても、同様に解決できるか？
• RQ3 スティル系列と文字の1対多マッピングを解消するためのマッチング戦略は、どの程度有効か？
• RQ4 同様のスティル構造を持つ言語、例えば韓国語に対して、どの程度一般化できるか？
• RQ5 従来の文字ベースおよび部首ベースのゼロショットCCR手法と比較して、性能および効率の点でどのように優れているか？

主な発見

• 本手法は、CTWデータセットにおける文字ゼロショット設定で85.29%の正確性を達成し、HDE（学習済みでは89.25%だが、ゼロショットでは低くなる）を上回る。
• 部首ゼロショット設定では、先行研究を著しく上回り、未学習の部首に対しても一般化能力を示している。
• 韓国語文字データセットでは、学習データの80%で訓練した場合、78.00%のゼロショット認識正確性を達成し、言語間一般化の妥当性を裏付けた。
• ドメインをまたいで良好に一般化する：印刷された芸術的書体文字で最も高い性能を示すが、手書きおよびシーン文字においてもベースラインを上回っている。
• 2段階のデコードにもかかわらず、分類ヘッドが6クラス（多くの部首と比較して）であるため、スティルベース手法の時間コスト（1サンプルあたり1.24秒）は部首ベース手法（1.38秒）より低い。
• 学習データをたった20%に制限した場合でも、韓国語文字で23.09%のゼロショット正確性を達成し、最小限のデータで強い少データ一般化性能を示している。