[論文レビュー] Fast, simple and accurate handwritten digit classification using extreme learning machines with shaped input-weights.

Mark D. McDonnell, Migel D. Tissera+2 more|arXiv (Cornell University)|Dec 29, 2014

Machine Learning and ELM被引用数 9

ひとこと要約

この論文は、局所化された画像パッチをランダムにサンプリングする形状化された入力重みを用いた極端な学習機械（ELM）を用いて、高速で高精度な手書き数字分類器を提案する。この手法は、MNISTで1%未塔、NORBで5.5%未塔の誤差を達成し、10分未塔の訓練時間を実現し、標準的なELMを上回り、深層ネットワークと同等の性能を示す。

ABSTRACT

Recent advances in training deep (multi-layer) architectures have inspired a renaissance in neural network use. For example, deep convolutional networks are becoming the default option for difficult tasks on large datasets, such as image and speech recognition. However, here we show that error rates below 1% on the MNIST handwritten digit benchmark can be replicated with shallow non-convolutional neural networks. This is achieved by training such networks using the 'Extreme Learning Machine' (ELM) approach, which also enables a very rapid training time (~10 minutes). Adding distortions, as is common practise for MNIST, reduces error rates even further. Our methods are also shown to be capable of achieving less than 5.5% error rates on the NORB image database. To achieve these results, we introduce several enhancements to the standard ELM algorithm, which individually and in combination can significantly improve performance. The main innovation is to ensure each hidden-unit operates only on a randomly sized and positioned patch of each image. This form of random `receptive field' sampling of the input ensures the input weight matrix is sparse, with about 90% of weights equal to zero. Furthermore, combining our methods with a small number of iterations of a single-batch backpropagation method can significantly reduce the number of hidden-units required to achieve a particular performance. Our close to state-of-the-art results for MNIST and NORB suggest that the ease of use and accuracy of the ELM algorithm for designing a single-hidden-layer neural network classifier should cause it to be given greater consideration either as a standalone method for simpler problems, or as the final classification stage in deep neural networks applied to more difficult problems.

研究の動機と目的

• 浅い、畳み込みなしのニューラルネットワークを用いて、MNISTおよびNORBベンチマークで最先端の性能を達成すること。
• 標準的なELMおよび従来の深層学習手法と比較して、訓練時間を短縮し、精度を向上させること。
• 単一隠れ層ネットワークにおける一般化性と効率性に与える構造的でスパースな入力重み行列の影響を調査すること。
• 最小限のバックプロパゲーションをELMと組み合わせることで、隠れユニットの必要数を削減する有効性を評価すること。
• 最適化された入力重み設計を施した浅いネットワークが、標準的なビジョンタスクにおいて深層アーキテクチャと同等の性能を示すことを実証すること。

提案手法

• 各隠れユニットが入力画像のランダムに選ばれたサイズと位置のパッチに制限される、形状化された入力重みを導入する。これは受容野を模倣する。
• 局所化されたサンプリングにより、入力重み行列の約90%の重みをゼロにすることでスパarsityを強制する。
• データ拡張および誤差率のさらなる低減を目的に、訓練中にランダムな歪みを適用する。
• ELMの訓練後に1バッチ分のバックプロパゲーションステップを実行し、出力重みをファインチューニングすることで、必要な隠れユニット数を削減する。
• ランダムに初期化された入力重みと固定された隠れ層を持つ単一隠れ層の順方向ニューラルネットワークを採用し、最小二乗法による解法で出力重みのみを訓練する。
• 入力重みのパターンを制約することでELMフレームワークを最適化し、特徴の局所化と一般化性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層アーキテクチャを用いずに、ELM訓練を施した浅い、畳み込みなしのニューラルネットワークが、MNISTで準最先端の性能を達成できるか？
• RQ2 局所化され、スパースな入力重み初期化は、分類精度と訓練速度にどのように影響するか？
• RQ3 少数のバックプロパゲーション反復回数が、より少ない隠れユニット数でELM性能を向上させられる程度はどの程度か？
• RQ4 提案手法はNORBなどの他のデータセットにも一般化可能か？標準ELMおよび深層ネットワークと比較してどうなるか？
• RQ5 ランダムな歪みによるデータ拡張が、ELMフレームワークにおける一般化性をさらに向上させるか？

主な発見

• 提案されたELM手法は、MNISTベンチマークで1%未塔のテスト誤差率を達成し、深層畳み込みネットワークと同等の性能を示す。
• 訓練時間は10分未塔であり、大多数の深層学習手法よりも顕著に高速である。
• NORBデータセットでは誤差率が5.5%未塔にまで低下し、MNISTを超える一般化性能が確認された。
• 形状化され、スパースな入力重みの使用により、バックプロパゲーションなしで局所化された特徴抽出が可能となり、性能が向上した。
• ELMと1バッチ分のバックプロパゲーションステップを組み合わせることで、必要な隠れユニット数を削減しながらも高い精度を維持できた。
• 訓練中にランダムな歪みを適用することで誤差率がさらに低下し、このアプローチのロバスト性が裏付けられた。