[論文レビュー] Handwritten Digit Recognition with a Committee of Deep Neural Nets on GPUs

Dan Cireşan, Ueli Meier+2 more|arXiv (Cornell University)|Mar 23, 2011

Advanced Neural Network Applications参考文献 10被引用数 26

ひとこと要約

この論文は、異なる方法で前処理および拡張されたMNIST画像を用いてトレーニングされた深層多層パーセプトロン（MLP）の委員会を提案し、そのことで当時で最も高い性能を達成した手書き数字認識を実現した。デジットの縦横比を正規化し、GPUアクセラレートされた変形を用いたオンラインデータ拡張を適用することで、委員会は0.31%の誤差率を達成し、当時報告された中で最も低い値となり、個々のネットワークや複雑なアーキテクチャを上回った。

ABSTRACT

The competitive MNIST handwritten digit recognition benchmark has a long history of broken records since 1998. The most recent substantial improvement by others dates back 7 years (error rate 0.4%) . Recently we were able to significantly improve this result, using graphics cards to greatly speed up training of simple but deep MLPs, which achieved 0.35%, outperforming all the previous more complex methods. Here we report another substantial improvement: 0.31% obtained using a committee of MLPs.

研究の動機と目的

• MNISTベンチマークにおける手書き数字認識の精度を、既存の最先端の結果を超えて向上させること。
• それぞれ異なる前処理を施したデータでトレーニングされた複数の深層MLPを組み合わせることで、一般化誤差を低減できるかどうかを調査すること。
• GPUアクセラレーションを活用して、オンラインデータ拡張を伴う大規模な深層MLPの効率的トレーニングを可能にし、過学習を防ぐこと。
• 入力正規化（例：幅スケーリング）および変形技術が、深層ニューラルネットワークにおける一般化に与える影響を調査すること。

提案手法

• GPUアクセラレートされたデータ上で、確率的勾配降下法と誤差逆伝播法を用いて深層MLP（841-2500-2000-1500-1000-500-10ニューロン）をトレーニングする。
• パラメータσ、α、β、γを用いたアフィン変形（回転、スケーリング、シアー）およびエラスティック変形を用いて、オンラインデータ拡張を実施し、多様なトレーニングインスタンスを生成する。
• デジットのバウンディングボックス幅を10、12、14、16、18、20ピクセルに正規化（1および7を除く）することで、縦横比の変動を捉える。
• 同じ構造の7つのMLPから成る委員会を構築し、それぞれ異なる前処理を施したトレーニングデータで学習させ、分類の最終予測を平均化する。
• 特にガウス畳み込みによるエラスティック変形の計算が最も計算コストが高いため、それをGPUに最適化してトレーニングを高速化する。
• バリデーション誤差に基づいて各委員会メンバーごとに最良のネットワークを選択し、その後標準MNISTテストセットでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる前処理を施したMNISTデータでトレーニングされた同一の深層MLPの委員会は、個々のネットワークよりも低い誤差率を達成できるか？
• RQ2 アーキテクチャの複雑化を伴わずに、オンライン変形によるデータ拡張が深層MLPの一般化性能を顕著に向上させられるか？
• RQ3 入力正規化（例：幅スケーリング）が、筆跡のばらつきを捉えることで誤差をどの程度低減できるか？
• RQ4 GPUアクセラレーションにより、大規模で非常に深いMLPにオンラインデータ拡張を適用し、スケールアップ可能なトレーニングが可能となり、MNISTでの性能向上が達成できるか？

主な発見

• 7つの深層MLPから成る委員会は、テスト誤差率0.31%を達成し、当時報告されたMNISTベンチマークで最も低い値であった。
• 委員会に属する個々のネットワークの誤差率は0.35%から0.52%の間であり、最良の単一ネットワークでも0.32%の誤差率であった。
• 委員会の性能は、いかなる単一ネットワークよりも顕著に優れており、前処理のばらつきによる誤差多様性の恩恵が明確に示された。
• 委員会が誤分類した31枚のデジットの多くは曖昧または不恰好な書体であり、2番目の予測が正しかったのは29枚にのぼった。
• GPUアクセラレーションにより、誤差逆伝播が50倍速くなり、データ変形処理が10倍速くなったため、大規模なオンライン拡張が現実可能となった。
• 無作為事前学習、特殊レイヤー、多様な分類器のアンサンブルを用いた複雑なアーキテクチャでさえも、単にシンプルな深層MLPのみを用いた本手法が上回った。