[論文レビュー] Deep Learning for Classical Japanese Literature

Tarin Clanuwat, Mikel Bober-Irizar+4 more|arXiv (Cornell University)|Dec 3, 2018

Topic Modeling参考文献 15被引用数 485

ひとこと要約

この論文は Kuzushiji データセット（Kuzushiji-MNIST, Kuzushiji-49, Kuzushiji-Kanji）を導入し、古典的な日本語文字に対する機械学習のベンチマークを行い、基準分類と現代の Kanji へのドメイン転移実験を示す。

ABSTRACT

Much of machine learning research focuses on producing models which perform well on benchmark tasks, in turn improving our understanding of the challenges associated with those tasks. From the perspective of ML researchers, the content of the task itself is largely irrelevant, and thus there have increasingly been calls for benchmark tasks to more heavily focus on problems which are of social or cultural relevance. In this work, we introduce Kuzushiji-MNIST, a dataset which focuses on Kuzushiji (cursive Japanese), as well as two larger, more challenging datasets, Kuzushiji-49 and Kuzushiji-Kanji. Through these datasets, we wish to engage the machine learning community into the world of classical Japanese literature. Dataset available at https://github.com/rois-codh/kmnist

研究の動機と目的

• 文化的・歴史的に関連する課題への ML 研究の動機付けとして Kuzushiji（草書体の日本語）読解の挑戦に焦点を当てる。
• 古典日本文学の機械学習研究のための使いやすい前処理済みデータセットを提供する。
• Kuzushiji-Kanji から Modern Kanji への基準分類結果を確立し、ドメイン転送を探る。
• ML と日本文学コミュニティ間の学際的協力を促す。

提案手法

• 3 つの前処理済みデータセット（Kuzushiji-MNIST, Kuzushiji-49, Kuzushiji-Kanji）を、馴染みのあるベンチマークの代替としてリリースする。
• 4-nearest neighbors、小さな CNN、Regularizers を用いた ResNet-18 のバリアントで基準分類を評価する。
• 2 つの VAE、MDN、Sketch-RNN デコーダを用いて Kuzushiji-Kanji から Modern Kanji のストロークを生成するドメイン転送実験を実施する。
• MNIST および Fashion-MNIST に類似したベースラインと比較して、難易度と分布的な課題を評価する。

実験結果

リサーチクエスチョン

• RQ1 Kuzushiji データセットは歴史的文字の画像分類に意味のある、挑戦的なベンチマークを提供できるか？
• RQ2 現代のアーキテクチャは MNIST ベースのベンチマークと比較して Kuzushiji-MNIST および Kuzushiji-49 でどの程度性能を出せるか？
• RQ3 ピクセル表現とストローク表現の両方で Kuzushiji-Kanji から Modern Kanji への転移は実現可能か？
• RQ4 混合（Mixup、manifold mixup）などのモデリング戦略は、不均衡な Kuzushiji データセットの精度を改善するか？
• RQ5 多モーダル書字（Hentaigana）はクラス形成と認識にどのような影響を与えるか？

主な発見

• ベースラインの結果は MNIST で高い精度を示し、モデル全体として Kuzushiji-MNIST および Kuzushiji-49 で強力だが低い性能を示す。PreActResNet-18 は MNIST で 99.56%、Kuzushiji-MNIST で 97.82%、Kuzushiji-49 で 96.64% に達する。
• より高度な変種（Input Mixup、Manifold Mixup）は Kuzushiji の精度を 98.41% (Kuzushiji-MNIST) と 97.33% (Kuzushiji-49) に改善する。
• Kuzushiji-Kanji には 3832 クラスが含まれ、クラスごとに 1 から 1,000 超のサンプルまで極端な不均衡があり、認識タスクの難しさを際立たせている。
• ドメイン転送実験は Kuzushiji-Kanji から Modern Kanji を 2 段階の VAE アプローチと Sketch-RNN を用いて生成し、跨ドメインの転写支援の可能性を示している。
• データセットは実世界のクラス不均衡と多モーダル文字表現（Hentaigana）を捉えており、標準的な MNIST ライクなベンチマークを超えた頑健なモデルの必要性を強調している。
• 著者はデータセットを100万文字画像以上へ拡大し、競技会を開催してさらなる研究を促すことを見込んでいる。