[論文レビュー] Multi-Column Deep Neural Networks for Offline Handwritten Chinese Character Classification

Dan Cireşan, Jürgen Schmidhuber|arXiv (Cornell University)|Sep 1, 2013

Handwritten Text Recognition Techniques参考文献 8被引用数 46

ひとこと要約

本論文は、アンサンブル平均化により独立に学習された深層ニューラルネットワークを統合することで、最先端の性能を達成する、オフライン手書き中国漢字認識のためのマルチカラム深層ニューラルネットワーク（MCDNN）を提案する。以前の前処理バグにより、結果が最大2%劣化していたが、その修正後、ICDAR 2013 データセット上でテスト誤差を 4.215% まで低減し、人間水準の性能（3.87%）に近づいた。

ABSTRACT

Our Multi-Column Deep Neural Networks achieve best known recognition rates on Chinese characters from the ICDAR 2011 and 2013 offline handwriting competitions, approaching human performance.

研究の動機と目的

• 3,755クラスの多さと高い視覚的複雑さのため、オフライン手書き中国漢字認識の認識精度を向上させること。
• 中国漢字の手書きにおける多様性と複雑さを扱う際の単一の深層ニューラルネットワークの限界を克服すること。
• 特に競争的ベンチマーク環境において、前処理の不一致がモデル性能に与える影響を調査すること。
• この挑戦的な認識タスクにおいて、アンサンブル手法（MCDNN）が個々のDNNを著しく上回ることを示すこと。

提案手法

• 予測を複数の独立に学習されたDNNの平均化により誤差率を低減する、マルチカラム深層ニューラルネットワーク（MCDNN）を採用した。
• 対比最大化と40×40ピクセルへの均一スケーリングを含む一貫した前処理パイプラインを用い、その後48×48ピクセルの画像に中央揃えすることで、変形に強い性能を実現した。
• 訓練時（Matlab）と推論時（OpenCV）の間で前処理に不一致が生じ、元のコンペティション提出物で1.37%の誤差増加を引き起こしていた問題を特定・修正した。
• フィルターマップと全結合層のサイズを変更した8種類の異なるDNNアーキテクチャを、すべて11層で、3,755出力ニューロン（分類用）を持つように学習した。
• 学習済みDNNの異なるサブセットを組み合わせて9つのMCDNNを構築し、最良のMCDNNは5つのネットワーク（DNN 0, 1, 4, 5, 7）を組み合わせた。
• 1枚のNVIDIA GTX 580 GPUで1秒間に45文字の高速推論を達成し、複数GPU間で線形スケーラビリティを示した。

実験結果

リサーチクエスチョン

• RQ1 マルチカラム深層ニューラルネットワーク（MCDNN）は、単一のDNNと比較して、大規模語彙の手書き中国漢字認識の認識精度を顕著に向上させることができるか？
• RQ2 実際のベンチマークコンペティションにおいて、訓練時と推論時の前処理の不一致がモデル性能に与える影響は何か？
• RQ3 MCDNNは、オフライン手書き中国漢字認識において、どの程度人間水準の性能に近づくか、あるいはそれを達成できるか？
• RQ4 3,755クラスの複雑で高次元の手書き文字データセットに、アンサンブル平均化を適用した場合の誤差低減効果は何か？

主な発見

• 前処理バグを修正した後、最良のMCDNNはテスト誤差率4.215%を達成し、最良の単一DNN（5.528%）と比較して、絶対誤差で1.313%、相対誤差で23.75%の低減を達成した。
• MCDNNはトップ10誤差率0.291%を達成し、このタスクにおいて新たな記録を樹立し、言語モデルとの統合の可能性が示された。
• 元の提出物が不完全であったにもかかわらず、ICDAR 2013コンペティションの優勝チーム（5.23%）と比較して、誤差率を絶対誤差で1.01%（相対誤差で19.3%）低減した。
• 最良のMCDNNは1枚のNVIDIA GTX 580 GPUで1秒間に45文字を処理でき、リアルタイムアプリケーションに適した高速推論を実現した。
• 4.215%の誤差率は、人間のベンチマーク（3.87%）に非常に近く、このデータセットではほぼ人間水準の性能を達成していることを示している。
• MCDNNによる性能向上は、すべてのアーキテクチャで一貫しており、一般化誤差低減の観点からアンサンブル平均化の有効性が確認された。