[論文レビュー] A Saak Transform Approach to Efficient, Scalable and Robust Handwritten Digits Recognition

Yueru Chen, Zhuwei Xu+3 more|arXiv (Cornell University)|Oct 29, 2017

Neural Networks and Applications参考文献 9被引用数 5

ひとこと要約

この論文では、PCAを用いたマルチステージ変換を用いて、コン pact でロバストな特徴を抽出する、損失ありSaak変換に基づく手書き数字認識手法を提案する。得られた特徴はSVMを用いて分類される。この手法はLeNet-5と同等の高い正確性を達成するとともに、バックプロパゲーションや再訓練を必要とせず、データセットサイズやクラス数の変更に対しても優れた効率性、スケーラビリティ、ノイズ耐性を示す。

ABSTRACT

An efficient, scalable and robust approach to the handwritten digits recognition problem based on the Saak transform is proposed in this work. First, multi-stage Saak transforms are used to extract a family of joint spatial-spectral representations of input images. Then, the Saak coefficients are used as features and fed into the SVM classifier for the classification task. In order to control the size of Saak coefficients, we adopt a lossy Saak transform that uses the principal component analysis (PCA) to select a smaller set of transform kernels. The handwritten digits recognition problem is well solved by the convolutional neural network (CNN) such as the LeNet-5. We conduct a comparative study on the performance of the LeNet-5 and the Saak-transform-based solutions in terms of scalability and robustness as well as the efficiency of lossless and lossy Saak transforms under a comparable accuracy level.

研究の動機と目的

• 手書き数字認識におけるCNNの効率性、スケーラビリティ、耐性の限界を克服すること。
• データ駆動型でバックプロパゲーションに依存しない特徴抽出手法を開発し、データセットサイズやクラス数の変更に対しても再訓練を必要としないこと。
• MNISTデータセットを用いて、Saak変換アプローチとLeNet-5の正確性、効率性、スケーラビリティ、耐性の観点での性能を評価すること。
• PCAによる損失あり圧縮が特徴の安定性および分類性能に与える影響を調査すること。
• ノイズや背景変更などのさまざまな画像劣化要因に対して、手法の耐性を実証すること。

提案手法

• 入力画像にマルチステージのSaak変換を適用し、空間的・スペクトル的特徴の統合表現を生成する。
• Saak変換カーネルは、ラベルやバックプロパゲーションを必要とせず、入力データの2次統計に基づいて計算される。
• 主成分分析（PCA）を適用することで、特徴次元を削減し、変換カーネル数を制御する損失ありSaak変換を実装する。
• 得られたSaak係数をSVM分類器の入力特徴として用い、クリーンなMNISTデータのみで訓練する。
• PCAのエネルギー閾値を3%に設定し、圧縮と情報保持のバランスを取る。
• 訓練データサイズ、クラス数、ノイズ混入したテスト条件の変化を想定して、手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 同等の設定下で、Saak変換ベースの手法はLeNet-5に比べて分類正確性でどのように差をつけるか？
• RQ2 特徴次元を削減する損失ありSaak変換は、分類性能をどの程度維持できるか？
• RQ3 MNISTデータセットの小さなサブセットで学習されたSaak変換カーネルは、どの程度安定しているか？
• RQ4 クラス数が減少した場合、特にクラス数が1にまで減少した場合に、この手法はどの程度の性能を示すか？
• RQ5 CNNと比較して、Saakベースの手法は画像ノイズや背景の劣化に対してどの程度耐性があるか？

主な発見

• エネルギー閾値3%の損失ありSaak変換は、MNISTで98.2%のテスト正確性を達成し、LeNet-5と同等の性能を示したが、はるかに高い効率性を示した。
• 60,000サンプルの全セットで学習したカーネルと比較して、10,000サンプルでの学習でもコサイン類似度が0.99以上を示し、高い安定性を確認した。
• 訓練クラス数を10から1に減少させても、分類正確性はほとんど変化しなかったことから、強力なスケーラビリティを示した。
• 極めて強い塩こしょうノイズ（S&P 4）下でも87.49%の正確性を維持し、LeNet-5よりもノイズ耐性に優れた性能を示した。
• クラス数の変更に対しても、LeNet-5がクラス数の変更に伴い再訓練を要するのに対し、Saakベースの手法はより耐性が高く、再訓練を必要としなかった。
• 一様ノイズやテクスチャによる背景置換に対しても、性能の低下が最小限に抑えられ、非意味的画像劣化に対しても耐性があることを示した。